Rozpoznávání jazyka na krátkém vzorku textu

Abstract

Práce navazuje na publikaci N-gram Text Categorization pánů Cavnara a Trenkla [2], rozšiřuje studium možnosti aplikace statistických metod na určení jazyka dokumentu jako jednodušší kategorie. Zde navrhovaný program čítá několik předností, mimo jiné modularita přiloženého programu a realizace nad jednou zvolenou univerzální znakovou sadou. Jako vylepšení původní práce je použito automatického filtrování a extrakce textu z internetových stránek pro průběžné zpřesňování naučených dat. Studujeme vývoj přesnosti určování jazyka dokumentu se zaměřením na krátké textové úseky. Tento aspekt jsme nenalezli v dostupné literatuře, jelikož kategorizace textu se ve většině případů zabývá dostatečně dlouhými vstupy. V závěru diskutujeme o možnosti použít naučená data a přístup pro označení a určení případných z jiného jazyka vnesených slov nebo krátkých frází. Konkrétně zkoumáme aplikaci na pražský závislostní korpus [8], kde tyto cizojazyčné fráze nejsou určeny, jen vymezeny.

This paper extends the work of Cavnar and Trenkle N-gram text categorization [2], enhances the study of statistics application on document language recognition as simplier variant of categorization. Proposed program shows qualities like modular design or running on one universal character set. As an enhancement of the original work is presented an automatic text sample filtration algorithm altogether with Internet text extraction and iterative improvement for this purpose. Presented paper studies accuracy development, concentrating on short samples. Similar work was not found in available literature, as categorization (and in corollary language recognition) usually assumes long enough input. In conclusion, a discussion about using the learned data and algorithms created here to mark foreign phrases. To be specific, we study the application on Prague Dependency Treebank [8], where the foreign phrases are not recognized, only their occurences specified.