Surface-Aware Neural Radiance Fields

Abstract

Presná a efektívna rekonštrukcia 3D scény je základným problémom počítačového videnia s aplikáciami v rozšírenej realite, robotike a digitálnej ochrane kultúrneho de- dičstva. Neural Radiance Fields (NeRFs) sa stali výkonnou learning-based metódou pre fotorealistickú 3D rekonštrukciu, ktorá reprezentuje scénu ako trénovateľný "radiance field" a syntetizuje nové pohľady vzorkovaním hustoty a farieb. Často sa spoliehajú na reprezentácie náročné na pamäť a ignorujú už dostupné geometrické priory. Na riešenie týchto problémov Tetra-NeRF nedávno navrhol využiť tetraedrickú mriežku zostavenú z riedkych alebo hustých mračien bodov (point clouds) prostredníctvom Delaunayovej triangulácie ako adaptívnu reprezentáciu scény, ktorú má táto práca za cieľ vylepšiť. Na základe experimentálnej analýzy ukazujeme, že kvalita rekonštrukcie silne závisí od umiestnenia bodov v blízkosti povrchov. Preto navrhujeme metódu adaptívneho zdoko- naľovania tetraédrickej mriežky, pričom zavádzame postupy prerezávania a rozdeľovania riadené kumulovanými renderovacími váhami a normami gradientov na dynamické pre- rozdelenie kapacity do dôležitých oblastí scény. Okrem toho navrhujeme váhovanie za- ložené na hustote Dirichletovej pravdepodobnostnej distribúcie, ktoré usmerňuje proces vzorkovania tak, aby sa tréning sústredil v blízkosti...

Accurate and efficient 3D scene reconstruction is a fundamental problem in computer vision, with applications in augmented reality, robotics, and digital heritage preservation. Neural Radiance Fields (NeRFs) have emerged as a powerful learning-based method for photorealistic 3D reconstruction, representing the scene as a learnable radiance field and performing novel view synthesis by sampling opacity and color values from the field. They often rely on memory-intensive representations and ignore geometric priors readily avail- able. To address these issues, Tetra-NeRF recently proposed to use a tetrahedral grid constructed from sparse or dense point clouds via Delaunay triangulation as an adaptive scene representation, which this thesis aims to improve. Based on an experimental analy- sis, we show that reconstruction quality strongly depends on the placement of points near the surface. Hence, we propose a method for adaptive refinement of the tetrahedral grid, introducing pruning and splitting procedures guided by accumulated rendering weights and gradient norms to dynamically reallocate capacity to important regions of the scene. In addition, we propose a Dirichlet-based density weighting to guide the sampling process to focus training near likely surface boundaries. Experiments show that our approach...