Smart extensions to regular cameras in the industrial environment

Abstract

Účelem této práce je získat rozsáhlou sadu videí s automaticky anotovanými pozicemi lidí. Na základě shromážděných dat jsme vyvinuli model strojového učení Pixel-to-Real, jehož cílem je vylepšit statické kamery uzavřeného televizního okruhu (CCTV) tak, aby umožňovaly lokalizaci lidí a měření vzdáleností mezi nimi pouze na základě vstupních video dat. K získání datasetů jsme vyvinuli ultraširokopásmový (UWB) systém, který umožňuje přesnou lokalizaci lidí. Syn- chronizací UWB a video dat jsme vygenerovali automaticky anotované datasety, které byly použity pro natrénování modelu Pixel-to-Real. Pro usnadnění sběru dat jsme vyvinuli GUI, které umožňuje synchronizaci, vizualizaci a analýzu video a UWB dat pro rychlou a snadnou kalibraci systému. GUI také usnadňuje export dat připravených pro natrénování modelu. Pro demonstrace přesnosti vyvinutého modelu jsme vyvinuli metodu Optical, která je založena na výšce osob, a porov- nali ji s modelem Pixel-to-Real. Provedli jsme také komplexní hodnocení metod UWB, Pixel-to-Real a Optical oproti reálným (Ground Truth) pozicím lidí. Naše metodologie zajišťuje opakovatelnost experimentů, což podporuje budoucí výzkum a vývoj v oblasti lokalizace lidí.

The purpose of this work is to obtain an extensive set of videos with automatically annotated locations of people. Using the collected data, we have developed a Pixel-to-Real machine learning model, which aims to extend static Closed-circuit television (CCTV) cameras to allow for localization of people and measuring distance between the them, solely based on the input video data. To gather the datasets, we have developed an Ultra-wideband (UWB) system, which allows for precise people localization. By synchronizing UWB and video data, we generated automatically annotated datasets, which were used for training the Pixel-to-Real model. To facilitate the data acquisition, we have developed a GUI, which allows to synchronize, visualize, and analyze video and UWB data for fast and easy system calibration. Additionally, it facilitates an export of the data for the model training. To demonstrate the accuracy of the developed model, we have developed the Optical method for people localization based on the height of people, and compared it with Pixel-to-Real model. We also performed a comprehensive evaluation of UWB, Pixel-to-Real, and Optical methods against Ground Truth people positions. Our methodology ensures the repeatability of the experiments, which allows us to support the future research and development in...