Neural Language Models with Morphology for Machine Translation
Neuronové jazykové modely zohledňující morfologii pro strojový překlad
diploma thesis (DEFENDED)
View/ Open
Permanent link
http://hdl.handle.net/20.500.11956/90571Identifiers
Study Information System: 159235
Collections
- Kvalifikační práce [11216]
Author
Advisor
Referee
Straková, Jana
Faculty / Institute
Faculty of Mathematics and Physics
Discipline
Artificial Intelligence
Department
Institute of Formal and Applied Linguistics
Date of defense
7. 9. 2017
Publisher
Univerzita Karlova, Matematicko-fyzikální fakultaLanguage
English
Grade
Very good
Keywords (Czech)
jazykový model, neuronové sítě, morfologieKeywords (English)
language model, neural network, morphologyJazykové modely hrají důležitou roli v mnoha oblastech zpracování přirozeného jazyka. V této práci se zaměřujeme na jazykové modely tvořené umělou neuronovou sítí. Zkoumáme možnosti použití morfologické anotace v těchto modelech. Navrhujeme architekturu neuronové sítě pro jazykový model, která explicitně využívá morfologickou anotaci vstupní věty: místo slovních tvarů zpracovává lemata a tvaroslovné značky. Základní i nová metoda jsou vyhod- noceny jak samostatně pomocí perplexity, tak v kontextu strojového překladu automatickým hodnocením kvality překladu. Zatímco izolovaně nový model sig- nifikantně překonává model původní, ve strojovém překladu se zlepšení nepro- jevilo. 1
Language models play an important role in many natural language processing tasks. In this thesis, we focus on language models built on artificial neural net- works. We examine the possibilities of using morphological annotations in these models. We propose a neural network architecture for a language model that explicitly makes use of morphological annotation of the input sentence: instead of word forms it processes lemmata and morphological tags. Both the baseline and the proposed method are evaluated on their own by perplexity, and also in the context of machine translation by the means of automatic translation quality evaluation. While in isolation the proposed model significantly outperforms the baseline, there is no apparent gain in machine translation. 1