Gesture detection using the AWR1843 radar

Abstract

This thesis describes the implementation of gesture detection using the AWR1843 millimeter radar. I have developed a desktop application, which communicates with the radar microcontroller, and provides a graphical user interface for the radar's range profile data. The application also allows the user to train a neural network on the radar data, and then use the model for gesture detection. The thesis compares several neural network models trained for hand wave detection, specifically how they behave after longer training and when using detected points in 3D space as a secondary data source. Practical evaluation has shown that, when trained on both range profile and 3D point input data, the model became overfitted and highly sensitive to changes in its environment, despite test dataset evaluation showing high accuracy.

Práce popisuje implementaci detekce gest pomocí milimetrového radaru AWR1843. Vyvinul jsem desktopovou aplikaci, která komunikuje s mikro- kontrolerem radaru a poskytuje grafické uživatelské rozhraní pro změřený profil vzdálenosti odrazů. Aplikace také umožňuje trénovat neuronovou síť na datech z radaru a použít tento model pro detekci gest. Práce porovnává několik modelů neuronových sítí natrénovaných pro detekci mávnutí rukou, konkrétně jak se chovají po delším trénování a pokud využívají detekované body ve 3D prostoru jako sekundární zdroj dat. Praktické vyhodnocení uká- zalo, že při trénování s profilem vzdálenosti i 3D bodovými vstupními daty se model nadměrně přizpůsobil podmínkám při trénování (overfitting). Stal se tak vysoce citlivým na změny prostředí, i když vyhodnocení testovací datové sady vykazovalo vysokou přesnost klasifikace.