Neural Language Models with Morphology for Machine Translation
Neuronové jazykové modely zohledňující morfologii pro strojový překlad
diplomová práce (OBHÁJENO)

Zobrazit/ otevřít
Trvalý odkaz
http://hdl.handle.net/20.500.11956/90571Identifikátory
SIS: 159235
Kolekce
- Kvalifikační práce [11325]
Autor
Vedoucí práce
Oponent práce
Straková, Jana
Fakulta / součást
Matematicko-fyzikální fakulta
Obor
Umělá inteligence
Katedra / ústav / klinika
Ústav formální a aplikované lingvistiky
Datum obhajoby
7. 9. 2017
Nakladatel
Univerzita Karlova, Matematicko-fyzikální fakultaJazyk
Angličtina
Známka
Velmi dobře
Klíčová slova (česky)
jazykový model, neuronové sítě, morfologieKlíčová slova (anglicky)
language model, neural network, morphologyJazykové modely hrají důležitou roli v mnoha oblastech zpracování přirozeného jazyka. V této práci se zaměřujeme na jazykové modely tvořené umělou neuronovou sítí. Zkoumáme možnosti použití morfologické anotace v těchto modelech. Navrhujeme architekturu neuronové sítě pro jazykový model, která explicitně využívá morfologickou anotaci vstupní věty: místo slovních tvarů zpracovává lemata a tvaroslovné značky. Základní i nová metoda jsou vyhod- noceny jak samostatně pomocí perplexity, tak v kontextu strojového překladu automatickým hodnocením kvality překladu. Zatímco izolovaně nový model sig- nifikantně překonává model původní, ve strojovém překladu se zlepšení nepro- jevilo. 1
Language models play an important role in many natural language processing tasks. In this thesis, we focus on language models built on artificial neural net- works. We examine the possibilities of using morphological annotations in these models. We propose a neural network architecture for a language model that explicitly makes use of morphological annotation of the input sentence: instead of word forms it processes lemmata and morphological tags. Both the baseline and the proposed method are evaluated on their own by perplexity, and also in the context of machine translation by the means of automatic translation quality evaluation. While in isolation the proposed model significantly outperforms the baseline, there is no apparent gain in machine translation. 1