Teoretické a praktické použití person-fit statistiky ve školním testování

Abstract

This bachelor thesis focuses on the use of person-fit statistics in the context of educational testing. These statistics represent a tool within person-fit analysis, which focuses on identifing aberrant responses in data. In the theoretical part, the aim of the thesis was to describe existing knowledge regarding the person-fit statistics and methods of person-fit analysis. In the empirical part, the person-fit analysis was conducted on 18 selected items from Czech matura exam from 2024. Indicies lz, C* and HT were used to identify students with aberrant response patterns. Total of 84 students were identified with all indicies and there were 22 identified students by all indicies. The characteristics of items were based on 3PL model IRT. The mean total score on selected items was 5,7 out of 18 in total. IRT analysis showed that the selected items were more of a difficult nature. The aberrant response patterns of the identified students were described based on the PRF graphs. No correlation was found between index values and student characteristics. Benefits of person-fit analysis appear to lie in providing deeper insights into response patterns. The results suggest that person-fit analysis may be uselful tool for exploring response patterns and opens new possibilities for research in educational testing.

Tato bakalářská práce se zaměřuje na využití person-fit statistik v kontextu školního testování. Tyto statistiky představují nástroj v rámci person-fit analýzy, která se zabývá popisem odchylných výsledků v datech. V teoretické části bylo cílem práce popsat dosavadní poznatky o výzkumu person-fit statistiky a přístupech k person-fit analýze. V empirické části byla provedena person-fit analýza na vybraných 18 položkách testu matematiky státní maturitní zkoušky Cermat z roku 2024. Pro identifikaci studentů s odchylným vzorem odpovědí byly použity indexy lz, C* a HT . Celkově se všemi indexy identifikovalo 84 studentů a mezi indexy byla shoda 22 stejně označených studentů. Charakteristiky položek v testu byly popsány pomocí 3PL modelu IRT. Průměrné celkové skóre studentů na vybraných položkách bylo 5,7 bodů z maxima 18 bodů. IRT analýza ukázala, že vybrané položky byly obtížnějšího charakteru. Pomocí PRF grafů byly popsány vzory odpovědí identifikovaných studentů. Nezjistila se korelace mezi hodnotami indexů a charakteristikami studentů. Jeví se, že přínos person-fit analýzy spočívá v přínosu hlubších informací o vzorech odpovědí studentů. Výsledky naznačují, že person-fit analýza může být vhodným nástrojem pro průzkum vzorů odpovědí a přináší další možnosti pro výzkum ve školním testování.