Detekce anomalit v log datech

Abstract

Tato práce se zabývá detekováním anomalit v log datech. Velké sotfwarové systémy produkují velké množství logů, které nejsou dále zpracovávány. Logů je zpravidla tolik, že není možné ručně kontrolovat každý záznam. V této práci předkládáme modely, které minimalizují především počet falešně pozitivních hlášení s přihlédnutím k očekávané slo- žitosti anotování dat. Porovnávané modely jsou založeny na PCA algoritmu, N-gramech a rekurentních neuronových sítích s použitím LSTM buňky. V práci prezentujeme výsledky modelů na standardně používaných datasetech i reálných datech poskytnutých firmou HAVIT, s.r.o. 1

This thesis deals with anomaly detection of log data. Big software systems produce a great amount of log data which are not further processed. There are usually so many logs that it becomes impossible to check every log entry manually. In this thesis we introduce models that minimize primarily count of false positive predictions with expected complexity of data annotation taken into account. The compared models are based on PCA algorithm, N-gram model and recurrent neural networks with LSTM cell. In the thesis we present results of the models on widely used datasets and also on a real dataset provided by HAVIT, s.r.o. 1