Efficient video retrieval using complex sketches and exploration based on semantic descriptors

Abstract

Tématem této práce jsou nové způsoby hledání ve videu. Konkrétněji se zaměřujeme na hledání známého objektu, v našem případě krátkého video segmentu. Předpokládáme, že žádný vhodný příklad pro podobnostní vyhledávání není k dispozici. Náš původní nástroj, opírající se o zachycení distribuce barev ve videu, je rozšířen o řadu nových modulů. Jmenovitě představujeme multi-modální skicy, nové prohledávací a vizualizační metody, podobnostní hledání s pomocí sémantických deskriptorů a v neposlední řadě dvě ortogonální metody pro zpracování textových dotazů. Navržené metody jsou implementovány v nástroji Enhanced Sketch-based Video Browser (ESBVB). Efektivita nástroje je testována v konkurenci dalších nejmodernejších metod na mezinárodní soutěži. Opakovaně se ukazuje, že ESBVB představuje jeden z nejefektivnějíších přístupů k dané problematice. V uživatelských studiích je dále ukázáno, že i nezkušení uživatélé dokáží využít možností ESBVB pro hledání známého objektu ve videu. Powered by TCPDF (www.tcpdf.org)

This thesis focuses on novel video retrieval scenarios. More particularly, we aim at the Known-item Search scenario wherein users search for a short video segment known either visually or by a textual description. The scenario assumes that there is no ideal query example available. Our former known- item search tool relying on color feature signatures is extended with major enhancements. Namely, we introduce a multi-modal sketching tool, the exploration of video content with semantic descriptors derived from deep convolutional networks, new browsing/visualization methods and two orthogonal approaches for textual search. The proposed approaches are embodied in our video retrieval tool Enhanced Sketch-based Video Browser (ESBVB). To evaluate ESBVB performance, we participated in international competitions comparing our tool with the state-of-the-art approaches. Repeatedly, our tool outperformed the other methods. Furthermore, we show in our user study that even novice users are able to effectively employ ESBVB capabilities to search and browse known video clips. Powered by TCPDF (www.tcpdf.org)