DRESS & GO: Deep belief networks and Rule Extraction Supported by Simple Genetic Optimization

Abstract

Nedávny vývoj v oblasti sociálnych médií a webových technológií prináša nové možnosti na získanie, analýzu a spracovanie stále sa zväčšujúceho množstva dát týkajúcich sa módy. V kontexte dizajnu a módy je naším hlavným ciel'om automaticky navrhovat' módne outfity na základe preferencií získaných z dát z reálneho sveta, po- skytnutých bud' používatel'mi, alebo zozbieraných z internetu. V našom prípade majú jednotlivé kusy oblečenia formu 2D obrázkov. V oblasti spracovania obrazových dát dokázali nedávne modely hlbokých neurónových sietí predčit' l'udský výkon. To nás inšpirovalo aplikovat' metódy transfer learning na porozumenie variabilite v módnych produktoch. Naše využitie transfer learning spočíva v extrahovaní interných reprezentácií vy- tvorených vo vel'kých konvolučných siet'ach predtrénovaných na všeobecnej dátovej sade ImageNet, a vizualizovaní štruktúry našich dát v tejto reprezentácií. Klastro- vacie algoritmy a farebné schémy obrázkov sa ukázali byt' tiež užitočné pri hl'adaní podobností. Metódy použité na generovanie nových outfitov zah'rňajú DBN siete a generické algoritmy. Tie využívajú konvolučné siete na modelovanie fitness funkcie outfitov. Hoci odporúčanie a generovanie v oblasti módy je...

Recent developments in social media and web technologies offer new opportunities to access, analyze and process ever-increasing amounts of fashion-related data. In the appealing context of design and fashion, our main goal is to automatically suggest fashionable outfits based on the preferences extracted from real-world data provided either by individual users or gathered from the internet. In our case, the clothing items have the form of 2D-images. Especially for visual data processing tasks, recent models of deep neural networks are known to surpass human performance. This fact inspired us to apply the idea of transfer learning to understand the actual variability in clothing items. The principle of transfer learning consists in extracting the internal representa- tions formed in large convolutional networks pre-trained on general datasets, e.g., ImageNet, and visualizing its (similarity) structure. Together with transfer learn- ing, clustering algorithms and the image color schemes can be, namely, utilized when searching for related outfit items. Viable means applicable to generating new out- fits include deep belief networks and genetic algorithms enhanced by a convolutional network that models the outfit fitness. Although fashion-related recommendations remain highly subjective, the results we have achieved...