Vyhledávání v nesegmentované mluvené řeči

Abstract

V této práci vyhledávám relevantní pasáže v nahrávkách českých svědků holocaustu z projektu MALACH. Zvukové záznamy těchto nahrávek jsou zpracovány systémem pro automatické rozpoznání řeči a přepisy z těchto systémů jsou lemmatizovány a opatřeny morfologickými tagy. V práci představuji skript, který z těchto dat generuje parametrizovatelné kolekce dokumentů. Problém vyhledávání informací v nesegmentované mluvené řeči poté přeformuluji na problém vyhledávání v těchto kolekcích dokumentů. V práci popisuji několik desítek experimentů zkoumajících vliv různých vyhledávacích technik na výsledky vyhledávání na těchto datech. Jedná se zejména o vliv normalizace slovních forem (lemmatizace), volby vyhledávacího modelu (TFIDF modelu, Okapi modelu a Indri modelu), obohacení dotazu o slepou zpětnou vazbu, odstranění nevýznamových slov podle frekvence či podle slovního druhu. Důraz je kladen také na různé hodnoty parametrů délky a přesahu generovaných dokumentů. Zjišťěné poznatky jsou v závěru práce ověřeny na testovacích datech. Přepisy výpovědí ani témata pro vyhledávání nejsou z právních důvodů součástí této práce.

In this work I search through interviews of Czech witnesses of the holocaust from the MALACH project to find relevant parts of these testimonies. Audio records of these interviews are automatically recognized by a system for an automatic speech recognition. Automatically recognized texts are then lemmatized and tagged. In this work I present a script which generates parametrizable collections of documents from these preprocessed texts. The task of unsegmented speech retrieval is then reformulated to a task of information retrieval in this collections of documents. In this work, I describe many experiments which examine the influence of different retrieval techniques on retrieval results on this data collection. Mainly, I study an influence of a morphological normalization (lemmatization), different types of IR systems (TF-IDF model, Okapi model and Indri model), blind relevance feedback, stopword list based on frequencies of terms and part-of-speech categories. I also place emphasis on various values of length and overlap parameters of generated documents. The results of these experiments are verified on test data. Audio records, outputs from automatic speech recognition system and topics for information retrieval are not part of this work due to legal grounds.