A Methodical Approach to the Evaluation of Appearance Computations

Abstract

Rôzne renderovacie techniky ponúkajú rozličné prístupy k tým istým as- pektom procesu tvorby obrázkov, hlavne kvôli ich komplexnosti a neustálemu vývoju. Okrem globálneho osvetlenia, popisy vzhľadu sú kľúčovými rozpoz- návacími faktormi jednotlivých renderovacích systémov. Takéto popisy môžu zahŕňat BRDF modely, podporu pre spektrálnu reprezentáciu farieb a do- konca aj pokročilé fenomény ako je fluorescencia. Bohužiaľ, keďže neexistujú žiadne štandardizované implementácie týchto vlastností, ich výpočty nemusia byť úplne presné, čo môže skončiť ich nekorektnou reprezentáciou. Táto práca popisuje testovaciu súpravu, ktorá metodicky evaluuje rende- rovacie algoritmy na základe ich schopnosti reprodukovať vzhľady. Jadrom súpravy je množina scén, ktorá testuje päť fenoménov - polarizáciu, GGX odrazivosť, fluorescenciu, iridescenciu a celkovú presnosť spektrálnej repre- zentácie. Každý testovací scenár obsahuje čo najmenej scén, pričom maxima- lizuje počet pokrytých aspektov testovanej vlastnosti. Pre pohodlie používa- teľa sme tieto scény zabalili do automatického procesu, ktorý spustí špecifi- kované testy a na konci zobrazí výsledky. Ako metriku správnosti používame manuálne overené referenčné obrázky, ktoré považujeme za absolutnú pravdu. Užívateľ môže porovnať výsledky evaluácie s referenčnými obrázkami,...

Various rendering techniques often use different approaches to the same aspects of the image synthesis process, mainly due to their complexity and constant development. Excluding global illumination algorithms, appearance descriptions are key distinguishing factors between the rendering systems. These descriptions might include BRDF models, support for spectral color representation, and even integration of advanced phenomena, such as fluores- cence. Unfortunately, as there are no standardized implementations of these features, their computations might not be completely accurate, which may result in their incorrect representation. This thesis describes an evaluation suite that methodically tests rendering algorithms based on their appearance reproduction capabilities. The core of the suite is a set of scenes that test five specific appearance phenomena - polarization, GGX reflectance, fluorescence, iridescence and the overall spectral accuracy. Each test case scenario contains as few scenes as possible while maximizing the number of covered aspects of the tested feature. For the user's convenience, we wrap the scenes inside an automatic workflow that runs the specified test case scenarios and displays the results. As a correctness metric, we provide manually verified reference images that are considered to...