Hand Tracking for Mobile Virtual Reality

Abstract

Mobilní virtuální realita inspirovaná Google Cardboard (kde je smartphone umístěn v levné náhlavní soupravě bez elektroniky) ztratila popularitu poté, co se na trhu objevily samostatné náhlavní soupravy VR. Zařízení jako Oculus Quest podporují úplné sledování skutečné polohy a rotace náhlavní soupravy a dvojice ovladačů (nebo dokonce jen rukou uživatele), to vše bez externích senzorů nebo počítačů, zatímco aplikace podobné kartonu sledují pouze rotaci hlavy uživatele. Pokusili jsme se vytvořit rámec, který by mohl poskytnout podobný zážitek jako samostatné náhlavní soupravy - mobilní VR aplikace schopná sledovat sebe a ruce uživatele v 6 stupních volnosti, to vše vyžaduje pouze smartphone s několika levnými doplňky. Použili jsme Unity AR Foundation k dosažení sledování náhlavní soupravy a různých algoritmů OpenCV k řešení sledování rukou - značky ArUco, Color Thresholding, Camshift a přístupy hlubokého učení, jako jsou OpenPose a YOLOv3. Naše zaměření bylo na testování algoritmů pro sledování rukou a zjistili jsme, že i když zdaleka nejsou dokonalé, koncept je proveditelný a s některými vylepšeními by se rámec mohl stát skutečným konkurentem v prostoru samostatných VR sluchátek.

Mobile Virtual Reality inspired by Google Cardboard (where a smartphone is placed in a cheap headset with no electronics) has lost its popularity after standalone VR headsets appeared on the market. The devices like Oculus Quest support full tracking of the real-world position and rotation of the headset and a pair of controllers (or even just the user's hands), all without any external sensors or computers, while Cardboard-like applications only track the rotation of the user's head. We tried to create a framework that could provide a similar experience to the standalone headsets - a mobile VR application capable of tracking itself and the user's hands in 6 degrees of freedom, all while only requiring a smartphone with a few cheap additions. We used Unity AR Foundation to achieve headset tracking and a variety of OpenCV algorithms to solve hand tracking - ArUco markers, Color Thresholding, Camshift, and deep learning approaches like OpenPose and YOLOv3. Our focus was on testing the hand tracking algorithms, and we discovered that while they are far from perfect, the concept is feasible, and, with some improvements, the framework could become a real competitor in the space of standalone VR headsets.