Mining Parallel Corpora from the Web
Rafinácia paralelných korpusov z webu
rigorózní práce (UZNÁNO)
Zobrazit/ otevřít
Trvalý odkaz
http://hdl.handle.net/20.500.11956/31195Identifikátory
SIS: 180664
Kolekce
- Kvalifikační práce [10932]
Autor
Vedoucí práce
Fakulta / součást
Matematicko-fyzikální fakulta
Obor
Softwarové systémy
Katedra / ústav / klinika
Katedra softwarového inženýrství
Datum obhajoby
15. 12. 2016
Nakladatel
Univerzita Karlova, Matematicko-fyzikální fakultaJazyk
Angličtina
Známka
Uznáno
Klíčová slova (česky)
rafinácia paralelných korpusov, bilingválne dokumentové zarovnanie, word2vec, lokálne-senzitívne hašovanieKlíčová slova (anglicky)
mining parallel corpora, bilingual document alignment, word2vec, locality-sensitive hashingNázov: Rafinácia paralelných korpusov z webu Autor: Bc. Jakub Kúdela E-mailová adresa autora: jakub.kudela@gmail.com Katedra: Katedra Softwarového Inženýrství Vedúci práce: Doc. RNDr. Irena Holubová, Ph.D. E-mailová adresa vedúceho: holubova@ksi.mff.cuni.cz Konzultant práce: RNDr. Ondřej Bojar, Ph.D. E-mailová adresa konzultanta: bojar@ufal.mff.cuni.cz Abstrakt: Štatistický strojový preklad (SMT, statistical machine translation) je v súčasnosti jeden z najpopulárnejších prístupov ku strojovému prekladu. Tento prístup využíva štatistické modely, ktorých parametre sú získané z analýzy para- lelných korpusov potrebných pre tréning. Existencia paralelného korpusu je naj- d^oležitejšou prerekvizitou pre vytvorenie účinného SMT prekladača. Viaceré vlas- nosti tohto korpusu, ako napríklad objem a kvalita, ovplyvňujú výsledky prekladu do značnej miery. Web m^ožeme považovat' za neustále rastúci zdroj značného množstva paralelných dát, ktoré m^ožu byt' rafinované a zahrnuté do trénovacieho procesu, čím m^ožu zdokonalit' výsledky SMT prekladača. Prvá čast' práce suma- rizuje niektoré z rozšírených metód pre získavanie paralelného korpusu z webu. Väčšina z metód hl'adá páry paralelných webových stránok podl'a podobnosti ich...
Title: Mining Parallel Corpora from the Web Author: Bc. Jakub Kúdela Author's e-mail address: jakub.kudela@gmail.com Department: Department of Software Engineering Thesis supervisor: Doc. RNDr. Irena Holubová, Ph.D. Supervisor's e-mail address: holubova@ksi.mff.cuni.cz Thesis consultant: RNDr. Ondřej Bojar, Ph.D. Consultant's e-mail adress: bojar@ufal.mff.cuni.cz Abstract: Statistical machine translation (SMT) is one of the most popular ap- proaches to machine translation today. It uses statistical models whose parame- ters are derived from the analysis of a parallel corpus required for the training. The existence of a parallel corpus is the most important prerequisite for building an effective SMT system. Various properties of the corpus, such as its volume and quality, highly affect the results of the translation. The web can be considered as an ever-growing source of considerable amounts of parallel data to be mined and included in the training process, thus increasing the effectiveness of SMT systems. The first part of this thesis summarizes some of the popular methods for acquiring parallel corpora from the web. Most of these methods search for pairs of parallel web pages by looking for the similarity of their structures. How- ever, we believe there still exists a non-negligible amount of parallel...