Online training of deep neural networks for classification
Online trénování hlubokých neuronových sítí pro klasifikaci
diplomová práce (OBHÁJENO)
Zobrazit/ otevřít
Trvalý odkaz
http://hdl.handle.net/20.500.11956/110175Identifikátory
SIS: 199821
Kolekce
- Kvalifikační práce [10932]
Autor
Vedoucí práce
Oponent práce
Kořenek, Jakub
Fakulta / součást
Matematicko-fyzikální fakulta
Obor
Umělá inteligence
Katedra / ústav / klinika
Katedra teoretické informatiky a matematické logiky
Datum obhajoby
16. 9. 2019
Nakladatel
Univerzita Karlova, Matematicko-fyzikální fakultaJazyk
Angličtina
Známka
Výborně
Klíčová slova (česky)
neuronové sítě, varianční autoenkodér, online učení, klasifikaceKlíčová slova (anglicky)
neural network, variational autoencoder, online learning, classificationHluboké učení je obvykle používáno se statickými datasety. Když je ale použito pro klasifikaci dat z datového toku, není jednoduché vzít v úvahu nestacionárnost. Tato diplomová práce prezentuje práci na nové metodě online učení klasifikace datových toků s mírným nebo středním driftem dat a je proto vysoce relevantní pro aplikace v detekci malware. Metoda používá kombinaci vícevrstvého perceptronu a variančního autoenkodéru a získává tak konstantní prostorovou složitost díky vkládání historie do generativního modelu. Proto může zjednodušit použití online učení neuronových sítí pro nezávislé adaptivní systémy s omezenou pamětí. V závěru prezentuji první výsledky na datech z reálného malware, které vypadají slibně. 1
Deep learning is usually applied to static datasets. If used for classification based on data streams, it is not easy to take into account a non-stationarity. This thesis presents work in progress on a new method for online deep classifi- cation learning in data streams with slow or moderate drift, highly relevant for the application domain of malware detection. The method uses a combination of multilayer perceptron and variational autoencoder to achieve constant mem- ory consumption by encoding past data to a generative model. This can make online learning of neural networks more accessible for independent adaptive sys- tems with limited memory. First results for real-world malware stream data are presented, and they look promising. 1