Towards Machine Interpreting

Abstract

Simultánní tlumočníci dělají víc než jen překlad mezi jazyky: průběžně adaptují, komprimují a přeformulovávají řeč za přísných časových omezení. Současné systémy simultánního překladu řeči naopak produkují primárně textové a často doslovné překlady mluveného vstupu, což poukazuje na vý- razný rozdíl mezi automatickým překladem řeči a lidským tlumočením. Tato práce zkoumá tento rozdíl a prozkoumává kroky směrem k strojovému tlu- močení, širšímu konceptu usilujícímu o napodobení způsobu práce lidských tlumočníků. V této práci porovnáváme lidské tlumočení a automatické sys- témy v různých prostředích a zdůrazňujeme důležitost přípravy, doméno- vých znalostí a strategií specifických pro simultánní tlumočení. Pro podporu dalšího výzkumu představujeme korpus studentských tlumočení MockConf, který obsahuje zarovnání na úrovni úseků i slov a anotace jevů charakteris- tických pro tlumočení. Na tomto korpusu dále zkoumáme automatické za- rovnávání úseků, odhad sémantické důležitosti slov pro kompresi informace a řízení délky výstupu velkých jazykových modelů.

Human simultaneous interpreters do more than translate between lan- guages: they continuously adapt, compress, and reformulate speech under strict time constraints. Current simultaneous speech translation systems, in contrast, primarily produce textual and often literal translations of spoken input, revealing a substantial gap between automatic speech translation and human interpreting. This thesis investigates that gap and explores steps to- wards machine interpreting, a broader concept aiming to reproduce human- like interpreting behavior. We compare human interpreting and automatic systems across multiple settings, highlighting the importance of preparation, domain knowledge, and interpreting-specific strategies. To support further re- search, we present MockConf, a corpus of student interpretations with span- and word-level alignments and annotations of interpreting phenomena. Bu- ilding on this dataset, we study automatic span alignment, semantic word importance for compression, and length control in large language models.