Re-identification of Objects in Video Stream using Data Analytics

Abstract

Široké využití bezpečnostních kamer poskytuje velké množství dat, které lze dále využít v oblastech jako je bezpečnost a rozvoj města. Důležitým odrazovým můstkem pro extrakci užitečných informací je hledání stejného objektu v různých okamžicích nebo na různých kamerách. V této práci se zaměřujeme konkrétně na tuto část zpracování videa, obvykle označovanou jako re-identifikace. Práce je rozdělena na dvě části. V první části se zaměřujeme na informace ohledně umístění detekovaného objektu v čase a prostoru. Ve druhé části kombinujeme tyto me- tadata s vizuální informací. Pro extrakci užitečných deskriptorů z obrázků používáme metody založené na distribuci barev i na metodách hlubokého učení. Abychom mohli vy- hodnotit navrhované přístupy připravili jsme vlastní sadu detekcí. Poskytujeme i nástroj, který jsme k anotaci těchto dat použili. 1

The wide usage of surveillance cameras provides data that can be used in various areas, such as security and urban planning. An important stepping stone for useful information extraction is matching the seen object across different points in time or different cameras. In this work, we focus specifically on this part of the video processing, usually referred to as re-identification. We split our work into two stages. In the first part, we focus on the spatial and temporal information regarding the detected objects. In the second part, we combine this metadata with the visual information. For the extraction of useful descriptors from the images, we use methods based on the color distribution as well as state-of-the-art deep neural networks. We also annotate a dataset to provide a comprehensive evaluation of our approaches. Additionally, we provide a custom tool we used to annotate the dataset. 1