Enabling Outbound Machine Translation

Abstract

It is not uncommon for Internet users to have to produce text in a foreign language they have very little knowledge of and are unable to verify the translation quality. We call the task "outbound translation" and explore it by introducing an open-source mod- ular system Ptakopět. Its main purpose is to inspect human interaction with machine translation systems enhanced by additional subsystems, such as backward translation and quality estimation. We follow up with an experiment on (Czech) human annotators tasked to produce questions in a language they do not speak (German), with the help of Ptakopět. We focus on three real-world use cases (communication with IT support, describing administrative issues and asking encyclopedic questions) from which we gain insight into different strategies users take when faced with outbound translation tasks. Round trip translation is known to be unreliable for evaluating MT systems but our ex- perimental evaluation documents that it works very well for users, at least on MT systems of mid-range quality. 1

Často se uživatelé Internetu potýkají s problémem psaní textu v jazyce, který plně neovládají, a mají tak problém s verifikací kvality překladu. Tomtuto problému říkáme "outbound translation" a zkoumáme jej za pomocí nového open-source modulárního sys- tému Ptakopět. Jeho hlavním cílem je zkoumat lidskou interakci se systémy strojového překladu, které jsou posíleny o další subsystémy, jako například zpětný překlad a auto- matický odhad kvality strojového překladu. Na tento systém navazujeme experimentem na (českých) lidských anotátorech, kteří mají za úkol vyprodukovat otázky v jazyce, kterému nerozumí (němčina), za pomocí Ptakopětu. Zaměřujeme se na tři případy použití v reálném světa (komunikace s IT podporou, popis administrativních problémů a dota- zování se na encyklopedické otázky) ze kterých získáváme vhled do různých strategií, které uživatelé používají, když čelí outbound translation. Je známo, že zpětný překlad je nespolehlivý při hodnocení systémů strojového překladu, ovšem náš experiment dokazuje, že zpětný překlad funguje velmi dobře pro běžné uživatele, alespoň u systémů strojvého překladu střední kvality. 1