Genres classification by means of machine learning
Klasifikace žánrů pomocí strojového učení
diplomová práce (OBHÁJENO)
Zobrazit/ otevřít
Trvalý odkaz
http://hdl.handle.net/20.500.11956/101890Identifikátory
SIS: 202143
Kolekce
- Kvalifikační práce [10690]
Autor
Vedoucí práce
Oponent práce
Vomlelová, Marta
Fakulta / součást
Matematicko-fyzikální fakulta
Obor
Umělá inteligence
Katedra / ústav / klinika
Katedra teoretické informatiky a matematické logiky
Datum obhajoby
13. 9. 2018
Nakladatel
Univerzita Karlova, Matematicko-fyzikální fakultaJazyk
Angličtina
Známka
Výborně
Klíčová slova (česky)
Strojové učení, zpracování přirozeného jazyka, klasifikace žánrů, vnoření slov, paragraph vectorKlíčová slova (anglicky)
Machine learning, natural language processing, genre classification, word embeddings, paragraph vectorV této práci porovnáváme bag of words a doc2vec přístup k problému klasifikace literárních žánrů. Na základě textů knih z repozitáře Projektu Gutenberg vytváříme tři datatsety různých délek. Každý z nich obsahuje přes 200000 dokumentů a 14 různých žánrů. Na souboru dokumentů s délkou 3200 znaků dosahujeme kombinací modelů bag of words a doc2vec reprezentace F1-skóre 0.862. V práci dále zkoumáme vztahy mezi knihami, žánry a slovy na základě podobnostní jejich vektorové reprezentace a uvádíme typická slova pro každý žánr. Součástí práce je webová aplikace na klasifikaci žánrů. 1
In this thesis, we compare the bag of words approach with doc2vec doc- ument embeddings on the task of classification of book genres. We cre- ate 3 datasets with different text lengths by extracting short snippets from books in Project Gutenberg repository. Each dataset comprises of more than 200000 documents and 14 different genres. For 3200-character documents, we achieve F1-score of 0.862 when stacking models trained on both bag of words and doc2vec representations. We also explore the relationships be- tween documents, genres and words using similarity metrics on their vector representations and report typical words for each genre. As part of the thesis, we also present an online webapp for book genre classification. 1