Show simple item record

Měření kvality strojového překladu
dc.contributor.advisorBojar, Ondřej
dc.creatorMacháček, Matouš
dc.date.accessioned2017-05-27T18:10:12Z
dc.date.available2017-05-27T18:10:12Z
dc.date.issued2014
dc.identifier.urihttp://hdl.handle.net/20.500.11956/72081
dc.description.abstractNázev práce: Měření kvality strojového překladu Autor: Matouš Macháček Ústav: Ústav formální a aplikované lingvistiky Vedoucí diplomové práce: RNDr. Ondřej Bojar, Ph.D. Abstrakt: V této práci zkoumáme manuální i automatické metody pro vy- hodnocování kvality strojového překladu. Navrhujeme manuální metodu evaluace, ve které anotátoři hodnotí místo celých vět pouze krátké úseky strojového překladu, což zjednodušuje a zefektivňuje anotaci. Provedli jsme anotační experiment a vyhodnotili jsme systémy strojového překladu podle této metody. Získané výsledky jsou velmi podobné těm z oficiálního vy- hodnocení systémů v rámci sotěže WMT14. Získanou databázi anotací dále používáme k evaluaci nových, neviděných systémů a k ladění parametrů stati- stického strojového překladače. Evaluace nových systémů ale dává nepřesné výsledky a v práci proto analyzujeme důvody tohoto neúspěchu. V rámci zkoumání automatických metod evaluace jsme dvakrát po sobě organizovali soutěž strojových metrik v rámci workshopu WMT. V této práci uvádíme výsledky z poslední soutže, diskutujeme různé metody metaevaluace a ana- lyzujeme některé zúčastněné metriky. Klíčová slova: strojový překlad, vyhodnocování kvality,...cs_CZ
dc.description.abstractTitle: Measures of Machine Translation Quality Author: Matouš Macháček Department: Institute of Formal and Applied Linguistics Supervisor: RNDr. Ondřej Bojar, Ph.D. Abstract: We explore both manual and automatic methods of machine trans- lation evaluation. We propose a manual evaluation method in which anno- tators rank only translations of short segments instead of whole sentences. This results in easier and more efficient annotation. We have conducted an annotation experiment and evaluated a set of MT systems using this method. The obtained results are very close to the official WMT14 evaluation results. We also use the collected database of annotations to automatically evalu- ate new, unseen systems and to tune parameters of a statistical machine translation system. The evaluation of unseen systems, however, does not work and we analyze the reasons. To explore the automatic methods, we organized Metrics Shared Task held during the Workshop of Statistical Ma- chine Translation in years 2013 and 2014. We report the results of the last shared task, discuss various metaevaluation methods and analyze some of the participating metrics. Keywords: machine translation, evaluation, automatic metrics, annotationen_US
dc.languageEnglishcs_CZ
dc.language.isoen_US
dc.publisherUniverzita Karlova, Matematicko-fyzikální fakultacs_CZ
dc.subjectstrojový překladcs_CZ
dc.subjectvyhodnocování kvalitycs_CZ
dc.subjectautomatické metrikycs_CZ
dc.subjectanotacecs_CZ
dc.subjectmachine translationen_US
dc.subjectevaluationen_US
dc.subjectautomatic metricsen_US
dc.subjectannotationen_US
dc.titleMeasures of Machine Translation Qualityen_US
dc.typediplomová prácecs_CZ
dcterms.created2014
dcterms.dateAccepted2014-09-08
dc.description.departmentInstitute of Formal and Applied Linguisticsen_US
dc.description.departmentÚstav formální a aplikované lingvistikycs_CZ
dc.description.facultyMatematicko-fyzikální fakultacs_CZ
dc.description.facultyFaculty of Mathematics and Physicsen_US
dc.identifier.repId149807
dc.title.translatedMěření kvality strojového překladucs_CZ
dc.contributor.refereeKuboň, Vladislav
dc.identifier.aleph001851334
thesis.degree.nameMgr.
thesis.degree.levelnavazující magisterskécs_CZ
thesis.degree.disciplineMatematická lingvistikacs_CZ
thesis.degree.disciplineComputational Linguisticsen_US
thesis.degree.programInformatikacs_CZ
thesis.degree.programComputer Scienceen_US
uk.thesis.typediplomová prácecs_CZ
uk.taxonomy.organization-csMatematicko-fyzikální fakulta::Ústav formální a aplikované lingvistikycs_CZ
uk.taxonomy.organization-enFaculty of Mathematics and Physics::Institute of Formal and Applied Linguisticsen_US
uk.faculty-name.csMatematicko-fyzikální fakultacs_CZ
uk.faculty-name.enFaculty of Mathematics and Physicsen_US
uk.faculty-abbr.csMFFcs_CZ
uk.degree-discipline.csMatematická lingvistikacs_CZ
uk.degree-discipline.enComputational Linguisticsen_US
uk.degree-program.csInformatikacs_CZ
uk.degree-program.enComputer Scienceen_US
thesis.grade.csVýborněcs_CZ
thesis.grade.enExcellenten_US
uk.abstract.csNázev práce: Měření kvality strojového překladu Autor: Matouš Macháček Ústav: Ústav formální a aplikované lingvistiky Vedoucí diplomové práce: RNDr. Ondřej Bojar, Ph.D. Abstrakt: V této práci zkoumáme manuální i automatické metody pro vy- hodnocování kvality strojového překladu. Navrhujeme manuální metodu evaluace, ve které anotátoři hodnotí místo celých vět pouze krátké úseky strojového překladu, což zjednodušuje a zefektivňuje anotaci. Provedli jsme anotační experiment a vyhodnotili jsme systémy strojového překladu podle této metody. Získané výsledky jsou velmi podobné těm z oficiálního vy- hodnocení systémů v rámci sotěže WMT14. Získanou databázi anotací dále používáme k evaluaci nových, neviděných systémů a k ladění parametrů stati- stického strojového překladače. Evaluace nových systémů ale dává nepřesné výsledky a v práci proto analyzujeme důvody tohoto neúspěchu. V rámci zkoumání automatických metod evaluace jsme dvakrát po sobě organizovali soutěž strojových metrik v rámci workshopu WMT. V této práci uvádíme výsledky z poslední soutže, diskutujeme různé metody metaevaluace a ana- lyzujeme některé zúčastněné metriky. Klíčová slova: strojový překlad, vyhodnocování kvality,...cs_CZ
uk.abstract.enTitle: Measures of Machine Translation Quality Author: Matouš Macháček Department: Institute of Formal and Applied Linguistics Supervisor: RNDr. Ondřej Bojar, Ph.D. Abstract: We explore both manual and automatic methods of machine trans- lation evaluation. We propose a manual evaluation method in which anno- tators rank only translations of short segments instead of whole sentences. This results in easier and more efficient annotation. We have conducted an annotation experiment and evaluated a set of MT systems using this method. The obtained results are very close to the official WMT14 evaluation results. We also use the collected database of annotations to automatically evalu- ate new, unseen systems and to tune parameters of a statistical machine translation system. The evaluation of unseen systems, however, does not work and we analyze the reasons. To explore the automatic methods, we organized Metrics Shared Task held during the Workshop of Statistical Ma- chine Translation in years 2013 and 2014. We report the results of the last shared task, discuss various metaevaluation methods and analyze some of the participating metrics. Keywords: machine translation, evaluation, automatic metrics, annotationen_US
uk.file-availabilityV
uk.publication.placePrahacs_CZ
uk.grantorUniverzita Karlova, Matematicko-fyzikální fakulta, Ústav formální a aplikované lingvistikycs_CZ
dc.identifier.lisID990018513340106986


Files in this item

Thumbnail
Thumbnail
Thumbnail
Thumbnail
Thumbnail
Thumbnail
Thumbnail

This item appears in the following Collection(s)

Show simple item record


© 2017 Univerzita Karlova, Ústřední knihovna, Ovocný trh 560/5, 116 36 Praha 1; email: admin-repozitar [at] cuni.cz

Za dodržení všech ustanovení autorského zákona jsou zodpovědné jednotlivé složky Univerzity Karlovy. / Each constituent part of Charles University is responsible for adherence to all provisions of the copyright law.

Upozornění / Notice: Získané informace nemohou být použity k výdělečným účelům nebo vydávány za studijní, vědeckou nebo jinou tvůrčí činnost jiné osoby než autora. / Any retrieved information shall not be used for any commercial purposes or claimed as results of studying, scientific or any other creative activities of any person other than the author.

DSpace software copyright © 2002-2015  DuraSpace
Theme by 
@mire NV