Využití LLM v přípravě testových materiálů

Abstract

Tato bakalářská práce analyzuje současný stav LLM technologií a jejich potenciál pro tvorbu, správu a vyhodnocování didaktických testů. V teoretické části jsou představeny základní principy fungování LLM, jejich historie a současné možnosti, spolu s přehledem dostupných modelů včetně komerčních (ChatGPT, Claude, Gemini, Deepseek) i open-source řešení (Llama, Mistral). Práce dále stanovuje komplexní sadu požadavků pro efektivní využití LLM v oblasti testování. Praktická část představuje konkrétní návrh postupu pro implementaci LLM do procesu tvorby testových materiálů, včetně ukázkových příkladů a postupů pro různé typy testů. Součástí je také vyhodnocení navrženého postupu pomocí SWOT analýzy a formulace doporučení pro vzdělávací praxi. Závěr práce diskutuje implikaci těchto zjištění ve vzdělávání. Klíčovým poznatkem práce je, že vzhledem k rychlému vývoji a netransparentním aktualizacím modelů není vhodné doporučení konkrétního modelu, ale spíše systematické hodnocení poskytovatelů na základě dlouhodobého výkonu, integračních možností, bezpečnosti, ochrany soukromí a etických závazků. Klíčová slova: velké jazykové modely, LLM, umělá inteligence, didaktické testy, vzdělávání

This bachelor thesis analyzes the current state of LLM technologies and their potential for creating, managing, and evaluating didactic tests. The theoretical part introduces the basic principles of LLMs, their history and current capabilities, along with an overview of available models including commercial ones (ChatGPT, Claude, Gemini, Deepseek) and open-source solutions (Llama, Mistral). The thesis further establishes a comprehensive set of requirements for the effective use of LLMs in testing. The practical part presents a specific methodology for implementing LLMs in the process of creating test materials, including sample examples and workflows for various types of tests. The thesis also includes an evaluation of the proposed methodology using SWOT analysis and formulates recommendations for educational practice. The conclusion discusses the implications of these findings in education. A key finding of this work is that, given the rapid development and non-transparent updates of models, recommending a specific model is not advisable; instead, systematic evaluation of providers based on long-term performance, integration capabilities, security, privacy protection, and ethical commitments is more appropriate. Keywords: large language models, LLM, artificial intelligence, didactic tests, education