Deep neural networks and their application for image data processing

Abstract

V oblasti rozpoznávání obrázků dnes patří k nejslibnějším modelům tzv. hluboké neuronové sítě, které často dosahují výrazně lepších výsledků než tradiční techniky, navíc bez nutnosti cíleného předzpracování vstupních dat. Tato práce se zabývá studiem a analýzou vlastností tří základních variant hlubokých neuronových sítí, a to neokognitronu, konvolučních neuronových sítí a DBN-sítí (deep belief networks). Na základě rozsáhlého testování popisovaných modelů na standardní úloze rozpoznávání ručně psaných číslic se jako nejvhodnější pro rozpoznávání obecných obrazových dat jeví konvoluční neuronové sítě. Ty jsme proto použili i při rozpoznávání obrázků z rozsáhlých datových sad CIFAR-10 a ImageNet. Pro optimalizaci architektury použité sítě jsme navrhli vlastní algoritmus prořezávání založený na analýze hlavních komponent (PCA). Powered by TCPDF (www.tcpdf.org)

In the area of image recognition, the so-called deep neural networks belong to the most promising models these days. They often achieve considerably better results than traditional techniques even without the necessity of any excessive task-oriented preprocessing. This thesis is devoted to the study and analysis of three basic variants of deep neural networks-namely the neocognitron, convolutional neural networks, and deep belief networks. Based on extensive testing of the described models on the standard task of handwritten digit recognition, the convolutional neural networks seem to be most suitable for the recognition of general image data. Therefore, we have used them also to classify images from two very large data sets-CIFAR-10 and ImageNet. In order to optimize the architecture of the applied networks, we have proposed a new pruning algorithm based on the Principal Component Analysis. Powered by TCPDF (www.tcpdf.org)