Large-Scale Content-Based Sub-Image Search

Abstract

Appendix A Resumé in Czech language Tato práce se zabývá vyhledáváním obrázků a specifických objektů v obrazových data- bázích. Na vstupu uživatel zadá obrázek objektu resp. scény a vyhledávací stroj vrátí obrázky stejného objektu resp. scény z databáze. Teze se zaměřuje na bag-of-words přístup, který je jedním z nejefektivnějších pro tento typ úlohy. Specifický objekt může pokrývat pouze část obrázku nebo může být z části překrytý jiným objektem. Práce vylepšuje více částí standardních bag-of-wors postupů. Nová similaritní funkce je definovaná pro bag-of-words vyhledávání obrázků. Tato funkce je naučená bez učitele, oproti standardní metodě nevyžaduje extra pamětový prostor a je více diskriminabilní než eukleidovský L2 soft assignment nebo Hamming embedding. Navrhovaná similaritní funkce dosahuje na standardních databázích vyšší mean average precision než všechny dosud publikované výsledky v literatuře. Jsou studovány účinky velmi jemné kvantizace u velkých vizuálních slovníků (až 64 milionů slov) a ukazuje se, že výsledky vyhledávače specifických objektů se zlepšují se zvyšujícím se množstvím slov. Toto pozorování je v rozporu s předešlými publiko- vanými výsledky. Dále ukazujeme, že s...

In this work the problems of specific object and image retrieval including the more challenging sub-image are studied. Given a query image of a specific object a retrieval engine returns relevant images of the same object from a database. The thesis focuses on the bag-of-words approach which is one of the most effective content-based approach especially when the specific object covers only a part of the picture, can be occluded or only partially visible. The thesis improves a number of components of the standard bag-of-words retrieval approach. A novel similarity measure for bag-of-words type large scale image retrieval is pre- sented. The similarity function is learned in an unsupervised manner, requires no extra space over the standard bag-of-words method and is more discriminative than both L2- based soft assignment and Hamming embedding. The novel similarity function achieves mean average precision that is superior to any result published in the literature on the standard datasets and protocols. We study the effect of a fine quantization and very large vocabularies (up to 64 mil- lion words) and show that the performance of specific object retrieval increases with the size of the vocabulary. This observation is in contradiction with previously published results. We further demonstrate that the large...