Distributed differentiable rendering for Mitsuba 3

Abstract

Mitsuba 3 is a research-oriented renderer capable of auto-differentiation and inverse rendering. It currently runs on a single CPU or GPU, hence unable to take advantage of distributed computing or multi-gpu systems. Our work provides a library that overcomes this constraint, allowing both the forward rendering and differentiable rendering to occur on a cluster of machines or multiple GPUs on a single machine. This is exposed to the user using an API similar to that of base Mitsuba. We have also implemented adaptive image-space sampling, allowing the renderer to preferrably spend computational resources on demanding regions of the image, which leads to less noisy images at a fixed computation time compared to traditional rendering.

Mitsuba 3 je výzkumný renderer s podporou automatického počítání derivací a dife- rencovatelného vykreslování. V současnosti umí běžet na jednom CPU nebo GPU, tudíž neumí využít dsitribuovaných výpočtů či strojů s několika GPU. V této práci jsme imple- mentovali knihovnu, pomocí kterého dokáže Mitsuba běžet na více strojích naráz nebo také používat více než jedno GPU na jednom stroji, a to pro přímé vykreslování obrazu i pro diferencovatelné vykreslování. Z uživatelského hlediska má naše knihovna API velmi podobné tomu v Mitsubě. Také jsme implementovali adaptivní samplování obrazu. Tato technika umožňuje rendereru strávit více výpočetního času na náročných částech obrazu, což vede k produkci méně zašumněných obrazů za daný čas v porovnání s klasickým vykreslováním.