Morphological Segmentation in Czech using Word-Formation Network

Abstract

Morfologická segmentace se zabývá dělením slov na morfémy - nejmenší jednotky nesoucí význam. Jedná se o nízkoúrovňový problém z oblasti zpracování přirozeného jazyka. Jelikož se morfologická segmentace někdy používá jako metoda předzpracování dat, její zlepšení může pomoci algoritmům řešícím nejrůznější problémy z oblasti NLP, zejména, pokud v situaci, kdy je nedostatek dat. Zlepšení morfologické segmentace může také pomoci lingvistickému výzkumu, využívajícímu korpusy. V této práci navrhujeme nový ensemble algoritmus pro morfologickou segmentaci Českých lemmat, který používá derivační stromy z datasetu DeriNet. Zároveň vytváříme návrhy na zlepšení tohoto datasetu.

Morphological segmentation is segmentation of words into morphemes - smallest units carrying meaning. It is a low level Natural Language Processing task. Since morphological segmentation is sometimes used as method of preprocessing, achieving better results on this task may help NLP algorithms to better solve various problems, especially in scenarios involving small amount of data, and it may also also help the linguistic research. We propose a novel ensemble algorithm for morphological segmentation of Czech lemmas which makes use of the DeriNet derivation tree dataset. As a sideproduct we also created suggestions for improvements of the DeriNet dataset.