Rethink Test Theory: Fuzzy-Logical Inference in Psychological Testing

Abstract

This work reconceptualizes psychological measurement by introducing a semantic, fuzzy-logic framework to address the ontological and structural limitations of Classical Test Theory (CTT) and Item Response Theory (IRT). The primary objective is to evaluate whether fuzzy set theory and word embeddings can robustly quantify psychological constructs, specifically the Big Five personality constructs based on their semantic definitions rather than traditional statistical covariance. Methodologically, construct definitions were extracted from academic sources and transformed into vector representations using Sentence-BERT (SBERT) models. The semantic similarity between these definitions and NEO Five-Factor Inventory (NEO-FFI) test items generated continuous fuzzy membership degrees. These were aggregated using a fuzzy-logic approach to inference novel psychometric scores, which were then tested on an open-source clinical dataset. Results demonstrate that the fuzzy-logic approach achieves strong convergent validity with CTT and IRT scores and comparable predictive validity for clinical diagnoses. Nonetheless, three of the eleven hypotheses were not fully supported and the fuzzy-logic approach has a few limitations which are addressed in the discussion. Ultimately, this research shows that integrating...

Tato práce rekonceptualizuje psychologické měření za pomocí sémantického, fuzzy-logického přístupu, který řeší ontologická a strukturální omezení klasické teorie testů (CTT) a teorie odpovědi na položku (IRT). Hlavním cílem je zhodnotit, zda teorie fuzzy množin a vektorové reprezentace slov (word embeddings) dokážou robustně kvantifikovat psychologické konstrukty, konkrétně pětifaktorový model osobnosti (Big Five), na základě jejich sémantických definic namísto tradiční statistické kovariance. Metodologicky byly definice konstruktů extrahovány z akademických zdrojů a transformovány do vektorových reprezentací pomocí modelů Sentence-BERT (SBERT). Sémantická podobnost mezi těmito definicemi a testovými položkami inventáře NEO Five-Factor Inventory (NEO-FFI) vytvořila spojité stupně fuzzy příslušnosti. Ty byly agregovány pomocí fuzzy-logického přístupu k odvození nových psychometrických skórů, které byly následně testovány na open-source klinickém datasetu. Výsledky ukazují, že fuzzy-logický přístup dosahuje silné konvergentní validity se skóry z CTT a IRT a srovnatelné prediktivní validity pro klinické diagnózy. Nicméně tři z jedenácti hypotéz nebyly plně podpořeny a fuzzy-logický přístup má několik omezení, která jsou řešena v diskuzi. Tento výzkum tak celkově ukazuje, že integrace zpracování...