Online training of deep neural networks for classification

Abstract

Deep learning is usually applied to static datasets. If used for classification based on data streams, it is not easy to take into account a non-stationarity. This thesis presents work in progress on a new method for online deep classifi- cation learning in data streams with slow or moderate drift, highly relevant for the application domain of malware detection. The method uses a combination of multilayer perceptron and variational autoencoder to achieve constant mem- ory consumption by encoding past data to a generative model. This can make online learning of neural networks more accessible for independent adaptive sys- tems with limited memory. First results for real-world malware stream data are presented, and they look promising. 1

Hluboké učení je obvykle používáno se statickými datasety. Když je ale použito pro klasifikaci dat z datového toku, není jednoduché vzít v úvahu nestacionárnost. Tato diplomová práce prezentuje práci na nové metodě online učení klasifikace datových toků s mírným nebo středním driftem dat a je proto vysoce relevantní pro aplikace v detekci malware. Metoda používá kombinaci vícevrstvého perceptronu a variančního autoenkodéru a získává tak konstantní prostorovou složitost díky vkládání historie do generativního modelu. Proto může zjednodušit použití online učení neuronových sítí pro nezávislé adaptivní systémy s omezenou pamětí. V závěru prezentuji první výsledky na datech z reálného malware, které vypadají slibně. 1