Detekce střihů a vyhledávání známých scén ve videu s pomocí metod hlubokého učení
Detekce střihů a vyhledávání známých scén ve videu s pomocí metod hlubokého učení
diploma thesis (DEFENDED)
View/ Open
Permanent link
http://hdl.handle.net/20.500.11956/121024Identifiers
Study Information System: 224473
Collections
- Kvalifikační práce [10678]
Author
Advisor
Referee
Peška, Ladislav
Faculty / Institute
Faculty of Mathematics and Physics
Discipline
Artificial Intelligence
Department
Department of Software Engineering
Date of defense
14. 9. 2020
Publisher
Univerzita Karlova, Matematicko-fyzikální fakultaLanguage
English
Grade
Excellent
Keywords (Czech)
hluboké učení, detekce střihů, hledání známé scény, učení reprezentacíKeywords (English)
deep learning, shot transition detection, known-item search, representation learningVyhledávání ve videu představuje náročný problém s mnoha záludnostmi a dílčími problémy. Tato práce se zaměřuje na dva z těchto podproblémů, konkrétně na detekci střihů a textové vyhledávání. V případě detekce střihů bylo v posledních desetiletích navrženo mnoho řešení. Nedávné přístupy založené na hlubokém učení zlepšily přes- nost detekce pomocí 3D konvolučních architektur a uměle vytvořených trénovacích dat, ale stoprocentní přesnost je stále nedosažitelným ideálem. V této práci představujeme TransNet V2, hlubokou síť pro detekci střihů, která dosahuje nejlepších výsledků v porovnání s konkurenčními metodami na respekovaných datasetech. V případě druhého námi řešeného problému textového vyhledávání se ukázaly jako efektivní řešení hluboké neuronové sítě promítající textové dotazy a snímky videa do společného prostoru. V této práci zkoumáme použítí těchto sítí pro případ hledání známého objektu ve videu a navrhujeme vylepšení způsobu, jakým lze zakódovat textový dotaz. 1
Video retrieval represents a challenging problem with many caveats and sub-problems. This thesis focuses on two of these sub-problems, namely shot transition detection and text-based search. In the case of shot detection, many solutions have been proposed over the last decades. Recently, deep learning-based approaches improved the accuracy of shot transition detection using 3D convolutional architectures and artificially created training data, but one hundred percent accuracy is still an unreachable ideal. In this thesis we present a deep network for shot transition detection TransNet V2 that reaches state-of- the-art performance on respected benchmarks. In the second case of text-based search, deep learning models projecting textual query and video frames into a joint space proved to be effective for text-based video retrieval. We investigate these query representation learning models in a setting of known-item search and propose improvements for the text encoding part of the model. 1