Content-Based Image Retrieval: from Primitive to Advanced Techniques

Abstract

The Wienbibliothek im Rathaus, Vienna City Library, collected over 300 thousand posters scanned in high quality from the last 100 years. Browsing and searching in such a large dataset is beyond human power. Therefore, a project was set up in cooperation with the Technical University of Vienna to test the possibilities of automatic data annotation on a selected sample. One of the requirements was Content-based Image Retrieval - retrieving images based on their visual content. This thesis reviews these techniques that emerged over the last decades. We focus on simple techniques based on colour, texture, and shape, as well as more advanced algorithms using convolutional neural networks. We implement these methods and compare their retrieval effectiveness on par- ticular image datasets. Finally, we describe the functionality of a developed web application. 1

Wienbibliothek im Rathaus, Vídeňská městská knihovna, shromáždila přes 300 tisíc plakátů naskenovaných ve vysokém rozlišení během posledních 100 let. Procházení a vyhledávání v tak velkém souboru dat je úkon nad lidské síly. Proto ve spolupráci s Technickou univerzitou ve Vídni vznikl projekt, který měl na vybraném vzorku obrázků plakátů otestovat možnosti automatické anotace dat. Jeden z úkolů bylo vyhledat obrázky na základě jejich vizuálního obsahu. Tato práce shrnuje tyto metody, které se objevily v posledních desetiletích. Zaměřujeme se na jednoduché techniky založené na barvě, struktuře a tvaru, stejně tak jako na pokročilejší algoritmy využívající konvoluční neuronové sítě. Tyto metody implementujeme a porovnáváme jejich efektivitu na konkrétních souborech obrazových dat. Nakonec popisujeme funkcionalitu vyvinuté webové aplikace. 1