Module for real-time object detection in video stream

Abstract

Over the last few years surveillance cameras have become ubiquitous. With so many cameras, analyzing the output manually has become very laborious and inefficient. In recent years, however, a lot of development has been focused on automatic video process- ing using artificial intelligence. There are many deep learning models for object detection offering basic low-level analysis. This thesis builds upon these models and creates an efficient video processing pipeline that serves as a base for further higher-level analyses. We aim to develop sufficiently fast video processing pipeline that will be able to process surveillance camera video streams in real-time while maintaining low CPU utilization. We move as much of the pipeline as possible to the GPU, with the data never leaving the GPU memory before the very end of the pipeline, and therefore leaving most of the CPU computational power for further data analysis. Our testing shows that our implemen- tation achieves performance very close to real-time with 1080p video even on common consumer hardware. 1

V posledních letech se bezpečnostní kamery staly téměř všudypřítomnými. S takovým množstvím kamer se analýza jejich záznamů stala velmi pracnou a neefektivní. V posled- ních letech nicméně probíhá velmi rychlý vývoj v oblasti automatického zpracování videa pomocí umělé inteligence. Existuje mnoho modelů z oblasti hlubokého učení nabízejících základní nízkoúrovňovou analýzu videa. Tato práce staví na těchto modelech a vytváří efektivní pipeline na zpracování videa, která bude sloužit jako základ pro další analýzu záběrů. Naším cílem je vyvinout dostatečně rychlou pipeline, která dokáže zpracovávat záběry z bezpečnostních kamer v reálném čase a přitom příliš nezatěžovat CPU. Většina pipeline je přesunuta na GPU a data jeho pamět neopustí až do samotného konce pipeline. Tímto je zajištěno, že maximální možný výkon CPU je k dispozici pro další analýzu dat. Naše testy ukazují, že naše implementace dosahuje výkonu velmi blízkého ke zpracování v reálném čase pro 1080p video i na bežně dostupném spotřebitelském hardwaru. 1