Demosaicing as an ill-posed inverse problem

Abstract

Color information of a scene is only recorded partially by a digital camera.Specifically, only one of the red, green, and blue color components is sampled at each pixel.The missing color values must be estimated － a process called demosaicing. Demosaicing can be solved as an individual step in the image processing pipeline. In this case, any errors and artefacts produced by this step are carried over into further steps in the image processing pipeline and are possibly magnified. Alternatively, we can try to resolve several degradations at once in a joint solution, which eliminates this effect. We present one such solution, that in addition to demosaicing, also jointly solves denoising, deconvolution, and super-resolution in the form of a convex optimization problem. We provide an overview of demosaicing methods and evaluate the results from our solution against selected existing methods.

Digitální fotoaparáty snímají barvu scény pouze částečně. Konkrétně je pro každý pixel naměřena jen jedna ze tří barevných komponent - červená, modrá, nebo zelená. Chybějící barevné komponenty musejí být odhadnuty. Tomuto procesu se říká Bayerova interpolace. Bayerova interpolace může být řešena samostatně jako jeden krok procesu restaurace obrazu. V tomto případě se může stát, že jakékoliv artefakty a chyby ve výpočtu se přenesou do dalšího kroku a mohou být v důsledku toho zvýrazněny. Druhou možností je pokusit se vyřešit několik degradací najednou. V tomto případě nežádoucí efekt přenášení chyby nenastává. V této práci popisujeme jedno konkrétní sdružené řešení, které vedle Bayerovy interpolace řeší i odstranění šumu, dekonvoluci a zvýšení rozlišení formou konvexního optimalizačního problému. Shrnujeme používané metody pro Bayerovu interpolaci a porovnáváme výsledky našeho řešení s několika vybranými metodami.