Neural radiance fields in electron microscopy

Abstract

After its recent introduction and success in novel view generation, NeRF has attracted a lot of interest. In this work, we focus on NeRF representations of scenes captured by an electron microscope. Capturing such images is much more challenging than other types of photography, which motivates the ability to extract as much information from them as is available. Given sufficient data, NeRF should generate novel views, which were not captured, with minimal effort. Supplementary datasets with properties similar to electron microscope images were also used during this exploration and revealed some problems which might need to be overcome to achieve a satisfactory NeRF reconstruction. Lighting conditions dependent on the viewpoint direction and large featureless areas tend to worsen the results. Despite this, we expect that a fully successful NeRF reconstruction from electron microscope images should be possible.

Po nedávném uvedení a úspěchu v generování nových pohledů vzbudil NeRF značný zájem. V této práci se zaměřujeme na reprezentace NeRF scén zachycených elektrono- vým mikroskopem. Zachycení takových snímků je mnohem náročnější než u jiných typů fotografií, což motivuje potřebu extrahovat z nich co nejvíce dostupných informací. Při dostatečném množství dat by měl NeRF generovat nové pohledy, které nebyly zachyceny, s minimálním úsilím. Během tohoto zkoumání byly také použity doplňkové datové sady s vlastnostmi podobnými snímkům z elektronového mikroskopu, které odhalily některé pro- blémy, jež by mohly být překážkou pro dosažení uspokojivé rekonstrukce pomocí NeRF. Světelné podmínky závislé na směru pohledu a velké plochy bez výrazných rysů mají tendenci výsledky zhoršovat. Navzdory tomu očekáváme, že plně úspěšná rekonstrukce pomocí NeRF ze snímků elektronového mikroskopu by měla být možná.