Generative neural networks in image reconstruction

Abstract

Recent research in generative models came up with a promising approach to modelling the prior proba- bility of natural images. The architecture of these prior models is based on deep neural networks. Although these priors were primarily designed for generating new natural-like images, its potential use is much broader. One of the possible applications is to use these models for solving the inverse problems in low-level vision (i.e., image reconstruction). This usage is mainly possible because the architecture of these models allows computing the derivative of the prior probability with respect to the input image. The main objective of this thesis is to evaluate the usage of these prior models in image reconstruction. This thesis proposes a novel model-based optimization method to two image reconstruction problems - image denoising and single-image super-resolution (SISR). The proposed method uses optimization algorithms for finding the maximum-a- posteriori probability, which is defined using the above mentioned prior models. The experimental results demonstrate that the proposed approach achieves reconstruction performance competitive with the current state-of-the-art methods, especially regarding SISR.

Nedávný výzkum v oblasti generování přirozeně vypadajících obrázků přišel se slibným přístupem k modelování apriorní parvděpodobnosti těchto obrázků. Architektura těchto apriorních modelů je založena na hlubokých neuronových sítích. Přestože jsou tyto modely primárně určeny pro generování obrázků, jejich potencionální využití je mnohem širší. Jednou z případných aplikací je využití těchto modelů pro řešení inverzních problémů v nízkoúrovňovém počítačovém vidění, tedy pro rekonstrukci obrazu. Toto využití umožňuje zejména fakt, že architektura těchto modelů umožňuje spočítat derivaci apriorní pravděpodobnosti vzhledem k vstupnímu obrázku. Hlavním cílem této práce je zhodnotit možnosti využití těchto apriorních modelů v rekonstrukci obrazu. Tato práce navrhuje novou, na optimalizaci založenou, metodu pro řešení dvou rekonstrukčních problémů: odšumování obrazu a super-rezoluce, kde vstupem je pouze jediný obrázek. Na- vrhovaná metoda využívá optimalizační algoritmy pro hledání nejvyšší aposteriorní pravděpodobnosti. Tato pravděpodobnost je definována právě pomocí výše zmíněných apriorních modelů. Výsledky experimentů ukazují, že navrhované řešení dosahuje výsledků,...