Detekce anomalit v log datech
Anomaly Detection on Log Data
diplomová práce (OBHÁJENO)
Zobrazit/ otevřít
Trvalý odkaz
http://hdl.handle.net/20.500.11956/147662Identifikátory
SIS: 233453
Kolekce
- Kvalifikační práce [10690]
Autor
Vedoucí práce
Oponent práce
Pilát, Martin
Fakulta / součást
Matematicko-fyzikální fakulta
Obor
Umělá inteligence
Katedra / ústav / klinika
Katedra teoretické informatiky a matematické logiky
Datum obhajoby
2. 9. 2021
Nakladatel
Univerzita Karlova, Matematicko-fyzikální fakultaJazyk
Čeština
Známka
Velmi dobře
Klíčová slova (česky)
strojové učení|monitorování systému|analýza logu|neuronové sítě|LSTM|PCAKlíčová slova (anglicky)
Log Data|Anomaly Detection|Machine Learning|Neural Networks|LSTM|PCATato práce se zabývá detekováním anomalit v log datech. Velké sotfwarové systémy produkují velké množství logů, které nejsou dále zpracovávány. Logů je zpravidla tolik, že není možné ručně kontrolovat každý záznam. V této práci předkládáme modely, které minimalizují především počet falešně pozitivních hlášení s přihlédnutím k očekávané slo- žitosti anotování dat. Porovnávané modely jsou založeny na PCA algoritmu, N-gramech a rekurentních neuronových sítích s použitím LSTM buňky. V práci prezentujeme výsledky modelů na standardně používaných datasetech i reálných datech poskytnutých firmou HAVIT, s.r.o. 1
This thesis deals with anomaly detection of log data. Big software systems produce a great amount of log data which are not further processed. There are usually so many logs that it becomes impossible to check every log entry manually. In this thesis we introduce models that minimize primarily count of false positive predictions with expected complexity of data annotation taken into account. The compared models are based on PCA algorithm, N-gram model and recurrent neural networks with LSTM cell. In the thesis we present results of the models on widely used datasets and also on a real dataset provided by HAVIT, s.r.o. 1