Semantic Components in Large Language Models: A Philosophical and Empirical Investigation

Abstract

This thesis investigates meaning representations in large language models through a philosophical and empirical framework that avoids metaphysical commitments about machine understanding. Rather than adjudicating debates about whether neural systems genuinely comprehend language, we develop systematic methods for analyzing semantic organization in computational representations. We propose a component-based approach that treats meaning as emerging from systematic relationships among interpretable se- mantic features rather than from foundational primitives or referential grounding. Us- ing Independent Component Analysis of embedding spaces from contemporary language models, we demonstrate how philosophical insights about meaning can inform empirical research methods. Our methodology reveals semantic components that exhibit systematic patterns across different types of linguistic relationships. These findings contribute both to practical methods for analyzing neural representations and to theoretical understand- ing of meaning. The approach demonstrates productive interaction between philosophy of language and computational linguistics while maintaining methodological commitment to letting systematic analysis inform theoretical conclusions. 1

Tato práce zkoumá reprezentace významu ve velkých jazykových modelech prostřed- nictvím filosofického a empirického rámce, který se vyhýbá metafyzickým závazkům o strojovém porozumění. Namísto rozhodování o tom, zda umělé neurální systémy skutečně chápou jazyk, vyvíjíme systematické metody pro analýzu sémantické organi- zace v počítačových reprezentacích. Navrhujeme komponentní přístup, který nakládá s významem jako s entitou emergující ze systematických vztahů mezi interpretovatelných sémantických rysy, nikoli z fundamentálních primitiv nebo referenčního ukotvení. Pomocí analýzy nezávislých komponent v prostorech embeddingů ze současných jazykových mod- elů ukazujeme, jak filosofické poznatky o významu mohou informovat empirické výzkumné metody. Naše metodologie odhaluje sémantické komponenty, které vykazují systematické vzorce napříč různými typy lingvistických vztahů. Tyto nálezy přispívají jak k prak- tickým metodám pro analýzu neurálních reprezentací, tak k teoretickému porozumění významu. Tento přístup demonstruje produktivní interakci mezi filosofií jazyka a počí- tačovou lingvistikou. 1