Kalibrace obtížnosti algoritmicky generovaných testových úloh o nastavitelné komplexitě

Abstract

Creation of good test items is key for modern testing, especially in situations where the results can have a great impact on the future of test takers. Manual item creation is often challenging and it is often difficult to produce a sufficiently large item set while maintaining good psychometric properties of the items. This thesis uses automatic item generation methods to algorithmically generate items based on adjustable parameters. Altogether, three item types were tested from the category of scholarly aptitude testing, specifically sequences with a missing symbol, finding a number of valid paths in a graph and word problems examining analytical reasoning. Testing itself took place at two high schools. The main outcomes are Bayesian calibration curves constructed using explanatory IRT models for the relevant generative parameters which show how item difficulty changes with parameter complexity. This effect wasn't demonstrated for sequences for which there was almost no change in difficulty associated with change in parameter values. Conversely, for graphs and analytical reasoning items, an effect of some generative parameters on item difficulty was confirmed. The utility of the findings of this thesis is their use in subsequent exam construction as a possible guide for difficulty calibration in...

Tvorba kvalitních testových úloh je klíčová pro moderní testování, zejména v situacích, kdy má výsledek testu vysoký dopad na budoucnost testovaných. Manuální tvorba položek je mnohdy náročná a ne vždy lze vytvořit dostatečně velkou sadu úloh s dobrými psychometrickými vlastnostmi. Tato práce se pomocí metody automatické generace položek zaměřuje na jejich algoritmickou generaci dle nastavitelných parametrů. Celkem byly testovány tři různé typy úloh zařaditelné do kategorie obecných studijních předpokladů, konkrétně sekvence s chybějícím symbolem, hledání počtu platných cest v grafech a slovní úlohy testující analytické uvažování. Testování probíhalo na dvou středních školách. Hlavním výstupem jsou bayesovské kalibrační křivky sestrojené pomocí explanatorních IRT modelů pro relevantní generativní parametry, které ukazují, jak se mění obtížnost položky při změně jejich komplexity. Tento efekt nebyl prokázán u sekvencí, u nichž změna parametrů téměř vůbec nesouvisela se změnou obtížnosti. Naopak u grafů a slovních úloh se efekt některých generativních parametrů na obtížnost potvrdil. Užitečnost práce spočívá ve využití těchto výsledků při následné tvorbě testů jako možného vodítka pro kalibraci obtížnosti u velkého množství úloh. Klíčová slova: Automatická generace položek; komplexita; obtížnost;...