Known-Item Search in Image Datasets Using Automatically Detected Keywords

Abstract

Known-item search represents a scenario, where a user searches for one particular image in a given collection but does not know where it is located. The thesis focuses on the design and evaluation of a keyword retrieval model for known-item search in image collections. We use a deep neural network trained on a custom dataset to annotate the images. We design complex yet easy-to-use query interface for fast image retrieval. We use/design several types of artificial users to estimate the model's performance in an interactive setting. We also discuss our successful participation at two international competitions. 1

Hledání známého objektu představuje případ, kdy uživatel hledá konkrétní obrázek v databázi, ale nezná jeho pozici. Tato práce se zaměřuje na návrh a evaluaci modelu pro hledání známého obrázku pomocí klíčových slov. Pro účel přiřazení slov k jednotlivým obrázkům databáze je použita hluboká neuronová sít trénovaná pomocí námi vybraných dat. Nad tímto modelem navrhujeme dotazovací rozhraní pro intuitivní a rychlé vyhle- dávání obrázků. Kvalitu modelu při interaktivním hledání odhadujeme pomocí simulací různých uživatelů. Dále rozebíráme naši úspěšnou účast na dvou mezinárodních soutěžích. 1