Spojité reprezentace vět v neuronovém strojovém překladu
Spojité reprezentace vět v neuronovém strojovém překladu
diplomová práce (OBHÁJENO)
Zobrazit/ otevřít
Trvalý odkaz
http://hdl.handle.net/20.500.11956/99393Identifikátory
SIS: 201611
Kolekce
- Kvalifikační práce [10690]
Autor
Vedoucí práce
Oponent práce
Rosa, Rudolf
Fakulta / součást
Matematicko-fyzikální fakulta
Obor
Matematická lingvistika
Katedra / ústav / klinika
Ústav formální a aplikované lingvistiky
Datum obhajoby
18. 6. 2018
Nakladatel
Univerzita Karlova, Matematicko-fyzikální fakultaJazyk
Angličtina
Známka
Výborně
Klíčová slova (česky)
věty, reprezentace, neuronový strojový překladKlíčová slova (anglicky)
sentence, representation, neural machine translationNedávné pokroky ve zpracování přirozeného jazyka pomocí hlubokých neuronových sítí daly vzniknout mnoha metodám získávání spojitých vektorových reprezentací textových dat. Jako jedna z těchto metod může posloužit neuronový strojový překlad, extrahujeme-li ze systému vnitřní reprezentaci vstupní věty. Nejmodernější neuronové překladové systémy jsou však založeny na mechanismu pozornosti (attention), kdy systém reprezentaci věty jako celku již vůbec nevytváří a reprezentaci tak není možné získat. V této práci navrhujeme a empiricky vyhodnocujeme nové techniky, které mají za cíl toto omezení překonat. Nejprve popisujeme stávající metody získávání a vyhodnocování větných reprezentací a rovněž představujeme dvě nové metody vyhodnocení. Dále popisujeme úpravy architektur pro strojový překlad, které umožní větné reprezentace získávat. V experimentální části tyto reprezentace analyzujeme a vyhodnocujeme je pomocí široké škály metrik se zaměřením na reprezentaci významu. Výsledky naznačují, že čím lepší je kvalita překladu, tím hůře si větné reprezentace vedou ve vyhodnocení těmito metrikami. Ani naše pokusy o regulaci větných reprezentací pomocí víceúlohového učení nepřinesly zřetelné zlepšení v tomto vyhodnocení.
Recent advances in natural language processing using neural networks have given rise to numerous methods of obtaining continuous-space vector representations of textual data that can be exploited for various applications. One of these methods is to use internal representations learned by neural machine translation (NMT) models. However, the attention mechanism in modern NMT systems removes the single point in the neural network from which the source sentence representation can be extracted. In this thesis, we propose and empirically evaluate novel ways to remove this limitation. We review existing methods of obtaining sentence representations and evaluating them, and present novel intrinsic evaluation metrics. Next, we describe our modifications to attention-based NMT architectures that allow extracting sentence representations. In the experimental section, we analyze these representations and evaluate them using a wide range of metrics with a focus on meaning representation. The results suggest that the better the translation quality, the worse the performance on these tasks. We also observe no performance gains from using multi-task training to control the representations.