Automatické generování obrázků a jejich využití jako trénovacích dat

Abstract

This thesis deals with the problem of automatic image generation based on input text in natural language. The first part deals with design and implementation of application that will generate an image composed of individual small pictures corresponding to the input description (an English sentence) based on certain rules, patterns and relations between words in the specified input sentence. The scope of objects for generating is infinite, because images are downloaded dynamically using REST API calls. The second goal is then to use this created application for training of a neural network for Image captioning task, i.e. automatic generation of captions for images, and evaluate its impact on quality of outputs from this task. The training was conducted on freely available data and it has been shown that artificial generating of images for training neural networks purposes has positive impact on the image captioning task. 1

Tato práce se zabývá problémem automatického generovaní obrázků na základě vstup- ního textu v přirozeném jazyce. V první části se práce zabývá návrhem a implementací aplikace, která bude pro vstupní danou větu v angličtině generovat na základě určitých pravidel, vzorů a vztahů mezi jednotlivými slovy v zadané vstupní větě obrázky složené z jednotlivých malých obrázků, odpovídající vstupnímu popisu. Rozsah objektů pro ge- nerování je neomezený, jelikož obrázky se stahují dynamicky pomocí REST API volání. Druhým cílem práce je pak použít tuto vzniklou aplikaci pro natrénování neuronové sítě pro úlohu image captioningu, tj. automatického generování popisků k obrázkům, a vy- hodnotit její vliv na kvalitu výstupů této úlohy. Trénování proběhlo na volně dostupných datech a bylo ukázáno, že umělé generování obrázků pro účely trénování neuronových sítí má pozitivní vliv pro úlohu image captioningu. 1