Deep neural networks and their implementation

Abstract

Hluboké neuronové sítě jsou efektivní a univerzální model schopný řešit širokou škálu úloh. Tato práce je zaměřena na studium tří různých typů hlubokých neuronových sítí - vícevrstvý perceptron, konvoluční neuronové sítě, a sítě typu DBN (deep belief). Všechny popisované modely hlubokých neurónových sítí jsou naimplementovány na paralelní hardvérové architektuře, a otestovány pro různa nastavení architektury sítě i jejích parametrů. Implementovaný systém je doplněn detailní dokumentací softvérového návrhu a popisem použitých optimalizací. Efektivitu implemenetovaného frameworku dokládají i výsledky provedených výkonnostních testů. Významnou součást práce představuje i testování dalších existujících frameworků s podporou hlubokých neuronových sítí. Porovnání ukazuje, že framework vytvořený v rámci této práce dosáhl lepších výkonnostních výsledků než testované konkurenční implementace vícevrstvých perceptronů a konvolučních neuronových sítí. Implementace sítí typu DBN dosahuje v porovnání s konkurenční implementací mírně lepších výkonnostních výsledků pro RBM vrstvy o velikosti do 1000 neuronů, ale znatelně slabších výkonnostních výsledků pro robustnější RBM vrstvy. Powered by TCPDF (www.tcpdf.org)

Deep neural networks represent an effective and universal model capable of solving a wide variety of tasks. This thesis is focused on three different types of deep neural networks - the multilayer perceptron, the convolutional neural network, and the deep belief network. All of the discussed network models are implemented on parallel hardware, and thoroughly tested for various choices of the network architecture and its parameters. The implemented system is accompanied by a detailed documentation of the architectural decisions and proposed optimizations. The efficiency of the implemented framework is confirmed by the results of the performed tests. A significant part of this thesis represents also additional testing of other existing frameworks which support deep neural networks. This comparison indicates superior performance to the tested rival frameworks of multilayer perceptrons and convolutional neural networks. The deep belief network implementation performs slightly better for RBM layers with up to 1000 hidden neurons, but has a noticeably inferior performance for more robust RBM layers when compared to the tested rival framework. Powered by TCPDF (www.tcpdf.org)