Point Cloud Rendering Approaches for Camera Pose Verification

Abstract

Visual localization is the problem of estimating the 6 degrees of freedom camera pose from which a query image was taken relative to a known reference scene representation. It is the key for applications such as Augmented, Mixed, and Virtual Reality, as well as autonomous robotics such as drones or self-driving cars. This thesis focuses on a visual localization pipeline, especially on its pose verification and reranking step. The pipeline uses 3D point clouds and 2D-3D correspondences be- tween the query image and 3D scene points for candidate camera poses estimations. The thesis explores point cloud rendering approaches as they are utilized in the pipeline and the verification step-the render of the discretized scene from a given candidate position is compared to the actual query image to asses if the given couple depicts the same place. One of the main challenges of such rendering is occlusion handling. Due to the sparsity of points employed for otherwise continuous real world representation, information about what lies in the front and what is hidden can be easily lost when projected to the 2D image. Rendering approaches explored in this thesis focus on the challenge directly or as a component of a novel view synthesis DNN-based renderer. Rendering influence on localization performance is investigated. 1

Vizuální lokalizace je problém odhadování parametrů šesti stupňů volnosti pozice kamery, z níž byla pořízena dotazovaná fotografie, přičemž pozice je vztažena ke známé reprezentaci referenčního prostředí. Řešení tohoto problému je klíčové v aplikacích jako jsou rozšířená, smíšená a virtuální realita, stejně tak v oblasti autonomní robotiky zahrnu- jící drony a samořiditelné automobily. Tato práce se soustředí na vizuální lokalizační algoritmus, zejména na jeho verifikační a přeřazovací krok. Tento algoritmus interně využívá třídimenzionální mračna bodů a hledání korespondencí mezi těmito body a dotazovanou fotografií pro nalezení odhadů kandidátních pozic kamery. Práce zkoumá přístupy k renderování mračen bodů a jejich využití v rámci algoritmu a jeho verifikačního kroku - render diskretizovaného prostředí z konkrétní kandidátní pozice se v něm porovnává s danou dotazovanou fotografií za účelem určení toho, zda oba pohledy zobrazují to samé místo. Jedna z hlavních výzev renderingu diskretizovaného prostředí jsou okluze. Kvůli říd- kosti bodů využitých jako reprezentace jinak spojitého reálného světa může být infor- mace o tom, co leží v popředí a co v pozadí, lehce ztracena při promítnutí bodů na dvoudimenzionální obraz. Přístupy k renderování zkoumané v této práci se soustředí na renderování bodů přímo...