Measures of Machine Translation Quality
Měření kvality strojového překladu
diplomová práce (OBHÁJENO)

Zobrazit/ otevřít
Trvalý odkaz
http://hdl.handle.net/20.500.11956/72081Identifikátory
SIS: 149807
Kolekce
- Kvalifikační práce [11266]
Autor
Vedoucí práce
Oponent práce
Kuboň, Vladislav
Fakulta / součást
Matematicko-fyzikální fakulta
Obor
Matematická lingvistika
Katedra / ústav / klinika
Ústav formální a aplikované lingvistiky
Datum obhajoby
8. 9. 2014
Nakladatel
Univerzita Karlova, Matematicko-fyzikální fakultaJazyk
Angličtina
Známka
Výborně
Klíčová slova (česky)
strojový překlad, vyhodnocování kvality, automatické metriky, anotaceKlíčová slova (anglicky)
machine translation, evaluation, automatic metrics, annotationNázev práce: Měření kvality strojového překladu Autor: Matouš Macháček Ústav: Ústav formální a aplikované lingvistiky Vedoucí diplomové práce: RNDr. Ondřej Bojar, Ph.D. Abstrakt: V této práci zkoumáme manuální i automatické metody pro vy- hodnocování kvality strojového překladu. Navrhujeme manuální metodu evaluace, ve které anotátoři hodnotí místo celých vět pouze krátké úseky strojového překladu, což zjednodušuje a zefektivňuje anotaci. Provedli jsme anotační experiment a vyhodnotili jsme systémy strojového překladu podle této metody. Získané výsledky jsou velmi podobné těm z oficiálního vy- hodnocení systémů v rámci sotěže WMT14. Získanou databázi anotací dále používáme k evaluaci nových, neviděných systémů a k ladění parametrů stati- stického strojového překladače. Evaluace nových systémů ale dává nepřesné výsledky a v práci proto analyzujeme důvody tohoto neúspěchu. V rámci zkoumání automatických metod evaluace jsme dvakrát po sobě organizovali soutěž strojových metrik v rámci workshopu WMT. V této práci uvádíme výsledky z poslední soutže, diskutujeme různé metody metaevaluace a ana- lyzujeme některé zúčastněné metriky. Klíčová slova: strojový překlad, vyhodnocování kvality,...
Title: Measures of Machine Translation Quality Author: Matouš Macháček Department: Institute of Formal and Applied Linguistics Supervisor: RNDr. Ondřej Bojar, Ph.D. Abstract: We explore both manual and automatic methods of machine trans- lation evaluation. We propose a manual evaluation method in which anno- tators rank only translations of short segments instead of whole sentences. This results in easier and more efficient annotation. We have conducted an annotation experiment and evaluated a set of MT systems using this method. The obtained results are very close to the official WMT14 evaluation results. We also use the collected database of annotations to automatically evalu- ate new, unseen systems and to tune parameters of a statistical machine translation system. The evaluation of unseen systems, however, does not work and we analyze the reasons. To explore the automatic methods, we organized Metrics Shared Task held during the Workshop of Statistical Ma- chine Translation in years 2013 and 2014. We report the results of the last shared task, discuss various metaevaluation methods and analyze some of the participating metrics. Keywords: machine translation, evaluation, automatic metrics, annotation