Generative neural networks for sky image outpainting
Generativní neuronové sítě pro dokreslování obrazu oblohy
bakalářská práce (OBHÁJENO)
Zobrazit/ otevřít
Trvalý odkaz
http://hdl.handle.net/20.500.11956/183050Identifikátory
SIS: 258390
Kolekce
- Kvalifikační práce [10926]
Autor
Vedoucí práce
Oponent práce
Mirbauer, Martin
Fakulta / součást
Matematicko-fyzikální fakulta
Obor
Informatika se specializací Umělá inteligence
Katedra / ústav / klinika
Katedra softwaru a výuky informatiky
Datum obhajoby
29. 6. 2023
Nakladatel
Univerzita Karlova, Matematicko-fyzikální fakultaJazyk
Angličtina
Známka
Výborně
Klíčová slova (česky)
image transformer|obrazy oblohy|dokreslováníKlíčová slova (anglicky)
image transfomer|sky imagery|outpaintingDokreslování obrázků je úloha z oblasti generativní umělé inteligence, jejímž cílem je co nejrealističtěji rozšířit obrázek. Tato práce se snaží o vytvoření algoritmu využívajícího strojové učení, který bude schopen dokreslovat obrázek oblohy pomocí několika nových postupů z oboru. Natrénujeme tři modely, tokenizer pro převod obrázků na tokeny a zpět, maskovaný generativní transformer (MaskGIT), který je schopen dokreslovat tokeny, a super sampler, který umí zvětšit výsledný obrázek a přidat do něj detaily. Všechny modely natrénujeme čistě na obrázcích oblohy. Poté navrhneme postup, který zkombin- uje natrénované modely k dokreslování obrázků. Nakonec popíšeme výsledky každého z modelů i výsledného algoritmu. Náš přínos je hlavně dodání fungující, open-source im- plementace včetně natrénovaných modelů, která bude schopna řešit úlohu dokreslování obrázků oblohy. 1
Image outpainting is a task in the area of generative artificial intelligence, where the goal is to expand an image in a feasible way. The goal of this work is to create a machine learning algorithm capable of sky image outpainting by implementing sev- eral recently proposed techniques in the field. We train three models, a tokenizer for converting images to tokens and back, a masked generative transformer for performing outpainting on tokens and a super sampler for upscaling the result, all on a dataset of sky images. Then, we propose a procedure that combines the trained models to solve the outpainting task. We describe the results of training each model and those of the fi- nal algorithm. Our contribution consists mainly in providing a working, open-source implementation including the trained models capable of sky image outpainting. 1