Manipulace s objekty pomocí rozpoznávání ukazovacích gest

Abstract

A gesture based control for the Pick And Place task was designed and implemented. Several types of gestures were explored. A raised hand gesture was selected for confirmation and a pointing gesture to specify the object and its target position. Experiments were conducted to measure the accuracy of three different types of pointing gestures. Gesture recognition is based on image processing and uses data from a depth camera. Tests of the control in a real environment were performed with a mobile robotic manipulator.

Pro úlohu Pick And Place bylo navrženo a implementováno ovládání založené na deiktických gestech. Bylo prozkoumáno několik typů gest. Pro potvrzování bylo vybráno gesto zvednuté ruky a pro specifikaci objektu a jeho cílové polohy gesto ukazování. Byly provedeny experimenty měřící přesnost tří různých typů ukazovacích gest. Rozpoznávání gest je založeno na zpracování obrazu a používá data hloubkové kamery. Testy ovládání v reálném prostředí byly provedeny s mobilním robotickým manipulátorem.