Detection of differential item functioning

Abstract

This thesis examines methods for detecting differential item functioning (DIF) in various settings, with a primary focus on the Mantel-Haenszel (MH) method and its gen- eralizations. Two alternative methods for DIF detection in binary data, logistic regression (LR) and SIBTEST, are introduced and compared to the MH procedure. A simulation study evaluated these methods' performance in a binary setup with one DIF item. The study examined rejection and power rates across four simulation scenarios that varied sample size, group size ratio, DIF effect size, and total number of items. The results indi- cate that sample size was the most influential factor affecting method performance. LR approach achieved the best overall performance across most scenarios. The MH method proved to be a suitable alternative for medium-sized samples in uniform DIF situations, but was significantly outperformed by LR method when detecting non-uniform DIF.

Tato práce se zabývá metodami detekce odlišného fungování položek (DIF) pro různé typy dat. Zaměřuje se na Mantel-Haenszelovu (MH) metodu a její zobecnění. Dvě alter- nativní metody pro DIF detekci v binárních datech, logistická regrese (LR) a SIBTEST, jsou představeny a srovnány s MH procedurou. Práce obsahuje simulační studii ome- zenou na binární data s jednou DIF položkou. Studie porovnávala hladinu a sílu testu pro čtyři simulační scénáře, které se lišily velikostí vzorku, poměrem velikostí skupin, velikostí DIF efektu a celkovým počtem položek. Výsledky naznačují, že velikost vzorku byla nejvlivnějším faktorem. Logistická regrese celkově dosáhla nejlepších výsledků ve většině scénářů. MH metoda byla vhodnou alternativou pro vzorky střední velikosti v případě uniformního DIFu, ale při detekci neuniformního DIFu byla výrazně překonána logistickou regresí.