Spojité reprezentace vět v neuronovém strojovém překladu

Abstract

Recent advances in natural language processing using neural networks have given rise to numerous methods of obtaining continuous-space vector representations of textual data that can be exploited for various applications. One of these methods is to use internal representations learned by neural machine translation (NMT) models. However, the attention mechanism in modern NMT systems removes the single point in the neural network from which the source sentence representation can be extracted. In this thesis, we propose and empirically evaluate novel ways to remove this limitation. We review existing methods of obtaining sentence representations and evaluating them, and present novel intrinsic evaluation metrics. Next, we describe our modifications to attention-based NMT architectures that allow extracting sentence representations. In the experimental section, we analyze these representations and evaluate them using a wide range of metrics with a focus on meaning representation. The results suggest that the better the translation quality, the worse the performance on these tasks. We also observe no performance gains from using multi-task training to control the representations.

Nedávné pokroky ve zpracování přirozeného jazyka pomocí hlubokých neuronových sítí daly vzniknout mnoha metodám získávání spojitých vektorových reprezentací textových dat. Jako jedna z těchto metod může posloužit neuronový strojový překlad, extrahujeme-li ze systému vnitřní reprezentaci vstupní věty. Nejmodernější neuronové překladové systémy jsou však založeny na mechanismu pozornosti (attention), kdy systém reprezentaci věty jako celku již vůbec nevytváří a reprezentaci tak není možné získat. V této práci navrhujeme a empiricky vyhodnocujeme nové techniky, které mají za cíl toto omezení překonat. Nejprve popisujeme stávající metody získávání a vyhodnocování větných reprezentací a rovněž představujeme dvě nové metody vyhodnocení. Dále popisujeme úpravy architektur pro strojový překlad, které umožní větné reprezentace získávat. V experimentální části tyto reprezentace analyzujeme a vyhodnocujeme je pomocí široké škály metrik se zaměřením na reprezentaci významu. Výsledky naznačují, že čím lepší je kvalita překladu, tím hůře si větné reprezentace vedou ve vyhodnocení těmito metrikami. Ani naše pokusy o regulaci větných reprezentací pomocí víceúlohového učení nepřinesly zřetelné zlepšení v tomto vyhodnocení.