Spojité reprezentace vět v neuronovém strojovém překladu
Spojité reprezentace vět v neuronovém strojovém překladu
diploma thesis (DEFENDED)

View/ Open
Permanent link
http://hdl.handle.net/20.500.11956/99393Identifiers
Study Information System: 201611
Collections
- Kvalifikační práce [11322]
Author
Advisor
Referee
Rosa, Rudolf
Faculty / Institute
Faculty of Mathematics and Physics
Discipline
Computational Linguistics
Department
Institute of Formal and Applied Linguistics
Date of defense
18. 6. 2018
Publisher
Univerzita Karlova, Matematicko-fyzikální fakultaLanguage
English
Grade
Excellent
Keywords (Czech)
věty, reprezentace, neuronový strojový překladKeywords (English)
sentence, representation, neural machine translationNedávné pokroky ve zpracování přirozeného jazyka pomocí hlubokých neuronových sítí daly vzniknout mnoha metodám získávání spojitých vektorových reprezentací textových dat. Jako jedna z těchto metod může posloužit neuronový strojový překlad, extrahujeme-li ze systému vnitřní reprezentaci vstupní věty. Nejmodernější neuronové překladové systémy jsou však založeny na mechanismu pozornosti (attention), kdy systém reprezentaci věty jako celku již vůbec nevytváří a reprezentaci tak není možné získat. V této práci navrhujeme a empiricky vyhodnocujeme nové techniky, které mají za cíl toto omezení překonat. Nejprve popisujeme stávající metody získávání a vyhodnocování větných reprezentací a rovněž představujeme dvě nové metody vyhodnocení. Dále popisujeme úpravy architektur pro strojový překlad, které umožní větné reprezentace získávat. V experimentální části tyto reprezentace analyzujeme a vyhodnocujeme je pomocí široké škály metrik se zaměřením na reprezentaci významu. Výsledky naznačují, že čím lepší je kvalita překladu, tím hůře si větné reprezentace vedou ve vyhodnocení těmito metrikami. Ani naše pokusy o regulaci větných reprezentací pomocí víceúlohového učení nepřinesly zřetelné zlepšení v tomto vyhodnocení.
Recent advances in natural language processing using neural networks have given rise to numerous methods of obtaining continuous-space vector representations of textual data that can be exploited for various applications. One of these methods is to use internal representations learned by neural machine translation (NMT) models. However, the attention mechanism in modern NMT systems removes the single point in the neural network from which the source sentence representation can be extracted. In this thesis, we propose and empirically evaluate novel ways to remove this limitation. We review existing methods of obtaining sentence representations and evaluating them, and present novel intrinsic evaluation metrics. Next, we describe our modifications to attention-based NMT architectures that allow extracting sentence representations. In the experimental section, we analyze these representations and evaluate them using a wide range of metrics with a focus on meaning representation. The results suggest that the better the translation quality, the worse the performance on these tasks. We also observe no performance gains from using multi-task training to control the representations.