A Universal Approach for Anomaly Detection in Log Files

Abstract

The goal of this thesis is to propose a solution for universal anomaly detection in log files. This thesis first provides theoretical background and overview of related work. Se- lected approaches are then extensively evaluated on multiple data sets. Based on results of evaluation, solution prototype is proposed. This prototype consists of modules respon- sible for detecting different anomaly types. To be specific, anomalous error sequences, anomalous occurrence of log parameters and network topology change can be detected. The error sequence detector integrates selected existing approaches and parameter de- tector utilizes own method based on log parsing and parameter count vector creation. Furthermore, the network topology change detector implements novel minimum span- ning tree based algorithm. Finally, improved log parser that is able to parse logs from different systems and formats is proposed to ensure universality across systems. 1

Cieľom tejto práce je predstavenie riešenia univerzálnej detekcie anomálií v logov- ých súboroch. Práca najskôr uvádza teoretické základy a prehľad existujúcich prístupov. Vybrané prístupy sú následne vyhodnotené na rôznych dátových sadách. Na základe výsledkov porovnania je navrhnutý prototyp riešenia. Prototyp pozostáva z modulov, ktoré sú zodpovedné za detekovanie rôznych druhov anomálií. Konkrétne ide o detek- ciu anomálnych sekvencií, anomálneho výskytu logovaných parametrov a detekciu zmeny topológie siete. Detektor anomálnych sekvencií integruje vybrané existujúce prístupy a detektor parametrov používa vlastnú metódu založenú na parsovaní logu a vektoroch počtu parametrov. Detektor zmeny topológie siete implementuje nový algoritmus za- ložený na minimálnej kostre grafu. Práca ďalej navrhuje vylepšený parser logov, ktorý je schopný parsovať logy z rôznych systémov s rozličnými formátmi. 1