Predicting item difficulty by applying machine learning algorithms using item text features

Abstract

The thesis investigates the prediction of item difficulty in foreign language comprehension tests by applying machine learning algorithms to linguistic features of item texts. Building upon prior research conducted on English maturita exams, the thesis aims to replicate and adapt the modeling approach to German language test items. Item difficulty was estimated using Item Response Theory (IRT), and a set of lexical, syntactic, and semantic features were extracted from the item texts. Regularized linear regression models were trained and evaluated using nested cross-validation. The findings indicate that some linguistic features showed moderate associations with item difficulty, and the overall model performance suggests that the approach may be comparably applicable to German as it is to English. However, the direct transferability of models trained on English items to German items is likely limited. The interpretability of all these results is constrained by the very small number of available items, which contributes to high inconsistency in the results, thereby limiting the generalizability and reliability of the findings. This thesis therefore also provides a critical reflection of this approach.

Tato diplomová práce se zaměřuje na predikci obtížnosti úloh v testech na porozumění cizojazyčnému textu, a to pomocí algoritmů strojového učení a lingvistických charakteristik textů úloh. Navazuje na předchozí výzkum realizovaný na datech z anglických maturitních testů a usiluje o přenesení a přizpůsobení tohoto modelového přístupu na úlohy v němčině. Obtížnost jednotlivých úloh byla odhadnuta pomocí teorie odpovědi na položku (IRT) a z textů úloh byly extrahovány různé lexikální, syntaktické a sémantické charakteristiky. Pro predikci byly využity regularizované lineární regresní modely, jejichž výkonnost byla ověřena pomocí vnořené křížové validace. Výsledky ukazují, že některé lingvistické charakteristiky souvisejí se zvýšenou či sníženou obtížností úloh, přičemž výkonnost modelu naznačuje, že tento přístup může být srovnatelně použitelný i pro němčinu, podobně jako tomu bylo v případě angličtiny. Přímá přenositelnost modelů natrénovaných na anglických datech na německé úlohy se však jeví jako omezená. Významným omezením je velmi malý počet úloh, které byly pro analýzu k dispozici. To vedlo k velké variabilitě výsledků a omezuje jak jejich zobecnitelnost, tak spolehlivost. Práce proto kromě samotné analýzy přináší také kritickou reflexi zvoleného metodologického přístupu.