LookPilot - 6DoF sledování hlavy a očí bez externího hardwaru

Abstract

The thesis describes the design and implementation of the LookPilot desktop appli- cation, which estimates six-degree-of-freedom head pose and eye gaze direction from a commodity webcam stream. All processing runs locally on the user's CPU, without ded- icated tracking hardware or a remote compute service. The tracking pipeline consists of face detection (MediaPipe BlazeFace), custom SimCC keypoint models for the face and eyes on a lightweight CSPNeXt backbone, and two small MLP regressors for head pose and gaze direction; the models are trained on a bespoke synthetic dataset derived from parametric 3D face models. The output passes through a cascade of a Kalman filter, a One-Euro filter, and a hysteretic deadzone, driven by a single smoothness slider, and is delivered to games via the FreeTrack, SimConnect, and UDP/OpenTrack protocols. The application is distributed via Steam as a standalone build localized into 16 languages and supports Windows and Linux, including the Proton layer.

Práce popisuje návrh a implementaci desktopové aplikace LookPilot, která z obrazu běžné webkamery odvozuje polohu hlavy v šesti stupních volnosti a směr pohledu z po- hybu očí. Veškeré zpracování probíhá lokálně na CPU uživatele bez specializovaného hardwaru a bez vzdálené výpočetní služby. Sledovací řetězec se skládá z detekce obličeje (MediaPipe BlazeFace), vlastních SimCC modelů pro lokalizaci klíčových bodů obličeje a očí nad lehkou páteřní sítí CSPNeXt a dvou malých MLP regresorů pro odhad pózy hlavy a směru pohledu; modely jsou trénované na vlastní syntetické datové sadě odvo- zené z parametrických 3D modelů obličejů. Výstup prochází kaskádou Kalmanova filtru, One-Euro filtru a hysterezní mrtvé zóny ovládanou jediným posuvníkem plynulosti a je předáván do her prostřednictvím protokolů FreeTrack, SimConnect a UDP/OpenTrack. Aplikace je distribuována přes Steam jako samostatné sestavení s lokalizací do 16 jazyků; podporuje Windows i Linux včetně vrstvy Proton.