Using neural networks to generate realistic skies

Abstract

Obor počítačové grafiky široce využívá 360ř fotografií okolního prostředí s vysokým dynamickým rozsahem pro získání realistického osvětlení scény z obrazu. Tento způsob osvětlení scény je rozšířen jak v realistických simulacích, tak v počítačových hrách. Ačkoli tyto mapy prostředí mají mnoho uplatnění, jejich pořizování je náročné, protože výsledná fotografie musí mít vysoké rozlišení i vysoký dynamický rozsah. Protože pořizování těchto fotografií je náročné, jsou drahé a nabídka je velmi omezená. Hluboké neuronové sítě jsou málo prozkoumanou výzkumnou oblastí, která zažívá prudký vývoj. Tyto sítě umí odhadovat chování komplikovaných modelů, jejichž stav se dá ale jednoduše pozorovat - jako například fotografie reálného světa. Neuronové sítě byly v minulosti úspěšně použity k vygenerování nových realisticky vypadajících fotografií (například lidských portrétů). Cílem této diplomové práce je prozkoumat možnost generování realistických obrazů oblohy použitím neuronových sítí. Protože neexistuje žádný veřejně do- stupný dataset obsahující velké množství fotografií oblohy s vysokým dynamic- kým rozsahem, vyvinuli jsme škálovatelný proces zachycení těchto fotografií s levným i drahým vybavením. Implementovali jsme sérii procesů pro upravení za- chycených dat. Ta provede všechny potřebné konverze a připraví data...

Environment maps are widely used in several computer graphics fields, such as realistic architectural rendering or computer games as sources of the light in the scene. Obtaining these maps is not easy, since they have to have both a high- dynamic range as well as a high resolution. As a result, they are expensive to make and the supply is limited. Deep neural networks are a widely unexplored research area and have been successfully used for generating complex and realistic images like human portraits. Neural networks perform well at predicting data from complex models, which are easily observable, such as photos of the real world. This thesis explores the idea of generating physically plausible environment maps by utilizing deep neural networks known as generative adversarial networks. Since a skydome dataset is not publicly available, we develop a scalable capture process with both low-end and high-end hardware. We implement a pipeline to process the captured data before feeding it to a network and extend an already existing network architecture to generate HDR environment maps. We then run a series of experiments to determine the quality of the results and uncover the directions of possible further research.