Span Labeling with Decoder-Only Large Language Models

Abstract

This thesis presents a systematic empirical comparison of decoder-only large language models for span labeling - the task of locating and categorizing text segments. We evaluate seven methods covering three families (tagging, indexing, matching) across four tasks and seven instruction-tuned models. No single method dominates: the best choice matches each task's structural challenge. We also introduce LogitMatch, a constrained- decoding algorithm that forces every generated span to be an exact substring of the input. LogitMatch eliminates an entire class of structural errors with negligible F1 change, providing correctness guarantees decoupled from accuracy.

Tato práce předkládá systematické empirické srovnání velkých jazykových modelů s dekodérovou architekturou pro úlohu označování úseků textu - tedy lokalizaci a klasi- fikaci souvislých úseků. Vyhodnocujeme sedm metod ze tří rodin na čtyřech úlohách a sedmi modelech doladěných pro následování instrukcí. Žádná metoda nedominuje napříč úlohami: nejlepší volba odpovídá strukturní povaze dané úlohy. Dále představujeme Lo- gitMatch, algoritmus omezeného dekódování, který zaručuje, že každý vygenerovaný úsek je přesným podřetězcem vstupu. LogitMatch odstraňuje celou třídu strukturních chyb se zanedbatelnou změnou F1, čímž poskytuje záruky správnosti oddělené od přesnosti.