Information retrieval and navigation in audio-visual archives

Abstract

Práca poskytuje prehľad metód pre interaktívne vyhľadávanie relevantných segmentov vo zvukových nahrávkach a vo videách. Práca najprv popisuje metódy pre vyhľadávanie v audio- vizuálnych archívoch založené na textovej informácii, ktoré využívajú automatické prepisy, titulky a metadáta. Kvalita vyhľadávania je skúmaná v závislosti na metódach segmentácie videa. Ďalej sú skúmané metódy pre navigáciu v multimédiách založené na multimodálnych hyperlinkoch a metódy pre automatický výber informatívnych segmentov videa, na ktoré je ďalej hyperlinking aplikovaný. Popísané metódy textového vyhľadávania, hyperlinkigu a výberu zaujímavých segmentov sú nakoniec použité v grafickom používateľskom rozhraní.

The thesis probes issues associated with interactive audio and video retrieval of relevant segments. Text-based methods for search in audio-visual archives using automatic transcripts, subtitles and metadata are first described. Search quality is analyzed with respect to video segmentation methods. Navigation using multimodal hyperlinks between video segments is then examined as well as methods for automatic detection of the most informative anchoring segments suitable for subsequent hyperlinking application. The described text-based search, hyperlinking and anchoring methods are finally presented in working form through their incorporation in an online graphical user interface.