Show simple item record

Methods of Domain Adaptation for Speech Recognition
dc.contributor.advisorBojar, Ondřej
dc.creatorKratochvíl, Jonáš
dc.date.accessioned2020-07-29T10:02:09Z
dc.date.available2020-07-29T10:02:09Z
dc.date.issued2020
dc.identifier.urihttp://hdl.handle.net/20.500.11956/119540
dc.description.abstractThe goal of this thesis is to develop a complete pipeline of Automatic Speech recognition for the Czech language with a particular focus on effective adap- tation of the model across a variety of diverse domains. Due to the scarcity of training data, we introduce two approaches for data preparation. First, we segment a portion of our audio files in a fully unsupervised way and use them to train our baseline acoustic model. We then use this model for further refinement of the segments. With our data pipeline, we prepare over 1500 hours of training data for the Czech language, from which 444 hours are made available to the public under a non-restrictive license. For our experiments, we use the hybrid acoustic model that combines the Gaus- sian Mixture Model and Hidden Markov Model with Neural Network-based methods. We also present our approach to language modeling in which we hier- archically combine interpolated n-gram models and a recurrent neural network model used to re-score the output lattices. Experiments with acoustic adap- tation, which finetune the neural network to a small amount of target domain audios, are presented as well. Lastly, we introduce an efficient implementation of a model for sentence embeddings, which we use to query an extensive cor- pus database and condition the search on a...en_US
dc.description.abstractNaše práce si jako hlavní cíl klade vytvoření kompletního systému pro au- tomatické rozpoznávání řeči pro Český jazyk. Důraz je zejména kladen na doménové adaptace našich modelů na různorodé cílové domény. Z důvodu ne- dostatku trénovacích dat pro Český jazyk nejprve představujeme dva přístupy pro přípravu dat. Jako první nasegmentujeme naše data bez použití doménového akustického modelu. Takto připravená data použijeme pro natrénování aku- stického modelu. Tento model je poté použit pro zlepšení našich segmentů a k přípravě korpusu Poslanecké sněmovny, který čítá přes 1500 hodin. Z tohoto objemu jsme již zveřejnili 444 hodin pro volné použití bez žádných licenčních restrikcí. Pro naše experimenty používáme hybridní akustický model který kombinuje Gaussian Mixture model a Hidden Markov Model s přístupy založenými na neuronových sítích. V naší práci také představíme přístup který používáme k jazykovému modelování ve kterém hierarchicky kombinujeme n-gramové modely s rekurentními neuronovými jazykovými modely které se využívají k reskórování laticí produkovaných akustickým modelem. Jako další představujeme naše ex- perimenty s dotrénováváním neuronové sítě na malém...cs_CZ
dc.languageČeštinacs_CZ
dc.language.isocs_CZ
dc.publisherUniverzita Karlova, Matematicko-fyzikální fakultacs_CZ
dc.titleMetody doménové adaptace pro rozpoznávání řečics_CZ
dc.typediplomová prácecs_CZ
dcterms.created2020
dcterms.dateAccepted2020-07-08
dc.description.departmentInstitute of Formal and Applied Linguisticsen_US
dc.description.departmentÚstav formální a aplikované lingvistikycs_CZ
dc.description.facultyMatematicko-fyzikální fakultacs_CZ
dc.description.facultyFaculty of Mathematics and Physicsen_US
dc.identifier.repId222653
dc.title.translatedMethods of Domain Adaptation for Speech Recognitionen_US
dc.contributor.refereeDušek, Ondřej
thesis.degree.nameMgr.
thesis.degree.levelnavazující magisterskécs_CZ
thesis.degree.disciplineUmělá inteligencecs_CZ
thesis.degree.disciplineArtificial Intelligenceen_US
thesis.degree.programComputer Scienceen_US
thesis.degree.programInformatikacs_CZ
uk.thesis.typediplomová prácecs_CZ
uk.taxonomy.organization-csMatematicko-fyzikální fakulta::Ústav formální a aplikované lingvistikycs_CZ
uk.taxonomy.organization-enFaculty of Mathematics and Physics::Institute of Formal and Applied Linguisticsen_US
uk.faculty-name.csMatematicko-fyzikální fakultacs_CZ
uk.faculty-name.enFaculty of Mathematics and Physicsen_US
uk.faculty-abbr.csMFFcs_CZ
uk.degree-discipline.csUmělá inteligencecs_CZ
uk.degree-discipline.enArtificial Intelligenceen_US
uk.degree-program.csInformatikacs_CZ
uk.degree-program.enComputer Scienceen_US
thesis.grade.csVýborněcs_CZ
thesis.grade.enExcellenten_US
uk.abstract.csNaše práce si jako hlavní cíl klade vytvoření kompletního systému pro au- tomatické rozpoznávání řeči pro Český jazyk. Důraz je zejména kladen na doménové adaptace našich modelů na různorodé cílové domény. Z důvodu ne- dostatku trénovacích dat pro Český jazyk nejprve představujeme dva přístupy pro přípravu dat. Jako první nasegmentujeme naše data bez použití doménového akustického modelu. Takto připravená data použijeme pro natrénování aku- stického modelu. Tento model je poté použit pro zlepšení našich segmentů a k přípravě korpusu Poslanecké sněmovny, který čítá přes 1500 hodin. Z tohoto objemu jsme již zveřejnili 444 hodin pro volné použití bez žádných licenčních restrikcí. Pro naše experimenty používáme hybridní akustický model který kombinuje Gaussian Mixture model a Hidden Markov Model s přístupy založenými na neuronových sítích. V naší práci také představíme přístup který používáme k jazykovému modelování ve kterém hierarchicky kombinujeme n-gramové modely s rekurentními neuronovými jazykovými modely které se využívají k reskórování laticí produkovaných akustickým modelem. Jako další představujeme naše ex- perimenty s dotrénováváním neuronové sítě na malém...cs_CZ
uk.abstract.enThe goal of this thesis is to develop a complete pipeline of Automatic Speech recognition for the Czech language with a particular focus on effective adap- tation of the model across a variety of diverse domains. Due to the scarcity of training data, we introduce two approaches for data preparation. First, we segment a portion of our audio files in a fully unsupervised way and use them to train our baseline acoustic model. We then use this model for further refinement of the segments. With our data pipeline, we prepare over 1500 hours of training data for the Czech language, from which 444 hours are made available to the public under a non-restrictive license. For our experiments, we use the hybrid acoustic model that combines the Gaus- sian Mixture Model and Hidden Markov Model with Neural Network-based methods. We also present our approach to language modeling in which we hier- archically combine interpolated n-gram models and a recurrent neural network model used to re-score the output lattices. Experiments with acoustic adap- tation, which finetune the neural network to a small amount of target domain audios, are presented as well. Lastly, we introduce an efficient implementation of a model for sentence embeddings, which we use to query an extensive cor- pus database and condition the search on a...en_US
uk.file-availabilityV
uk.grantorUniverzita Karlova, Matematicko-fyzikální fakulta, Ústav formální a aplikované lingvistikycs_CZ
thesis.grade.code1
uk.publication-placePrahacs_CZ


Files in this item

Thumbnail
Thumbnail
Thumbnail
Thumbnail
Thumbnail
Thumbnail
Thumbnail

This item appears in the following Collection(s)

Show simple item record


© 2017 Univerzita Karlova, Ústřední knihovna, Ovocný trh 560/5, 116 36 Praha 1; email: admin-repozitar [at] cuni.cz

Za dodržení všech ustanovení autorského zákona jsou zodpovědné jednotlivé složky Univerzity Karlovy. / Each constituent part of Charles University is responsible for adherence to all provisions of the copyright law.

Upozornění / Notice: Získané informace nemohou být použity k výdělečným účelům nebo vydávány za studijní, vědeckou nebo jinou tvůrčí činnost jiné osoby než autora. / Any retrieved information shall not be used for any commercial purposes or claimed as results of studying, scientific or any other creative activities of any person other than the author.

DSpace software copyright © 2002-2015  DuraSpace
Theme by 
@mire NV