Metody doménové adaptace pro rozpoznávání řeči

Abstract

The goal of this thesis is to develop a complete pipeline of Automatic Speech recognition for the Czech language with a particular focus on effective adap- tation of the model across a variety of diverse domains. Due to the scarcity of training data, we introduce two approaches for data preparation. First, we segment a portion of our audio files in a fully unsupervised way and use them to train our baseline acoustic model. We then use this model for further refinement of the segments. With our data pipeline, we prepare over 1500 hours of training data for the Czech language, from which 444 hours are made available to the public under a non-restrictive license. For our experiments, we use the hybrid acoustic model that combines the Gaus- sian Mixture Model and Hidden Markov Model with Neural Network-based methods. We also present our approach to language modeling in which we hier- archically combine interpolated n-gram models and a recurrent neural network model used to re-score the output lattices. Experiments with acoustic adap- tation, which finetune the neural network to a small amount of target domain audios, are presented as well. Lastly, we introduce an efficient implementation of a model for sentence embeddings, which we use to query an extensive cor- pus database and condition the search on a...

Naše práce si jako hlavní cíl klade vytvoření kompletního systému pro au- tomatické rozpoznávání řeči pro Český jazyk. Důraz je zejména kladen na doménové adaptace našich modelů na různorodé cílové domény. Z důvodu ne- dostatku trénovacích dat pro Český jazyk nejprve představujeme dva přístupy pro přípravu dat. Jako první nasegmentujeme naše data bez použití doménového akustického modelu. Takto připravená data použijeme pro natrénování aku- stického modelu. Tento model je poté použit pro zlepšení našich segmentů a k přípravě korpusu Poslanecké sněmovny, který čítá přes 1500 hodin. Z tohoto objemu jsme již zveřejnili 444 hodin pro volné použití bez žádných licenčních restrikcí. Pro naše experimenty používáme hybridní akustický model který kombinuje Gaussian Mixture model a Hidden Markov Model s přístupy založenými na neuronových sítích. V naší práci také představíme přístup který používáme k jazykovému modelování ve kterém hierarchicky kombinujeme n-gramové modely s rekurentními neuronovými jazykovými modely které se využívají k reskórování laticí produkovaných akustickým modelem. Jako další představujeme naše ex- perimenty s dotrénováváním neuronové sítě na malém...