POMDPs for dynamic troubleshooting

Abstract

Pojmem dynamický troubleshooting se označuje proces analýzy bezpečnostního systému v reálním čase, predikce a detekce možných problémů, řešení problémů a předchzení jejich výskytu. Je-li tento proces realizován počítačem, pak se ve své nejobecnější podobě jedná o problém optimálního rozhování. Koncep částečně pozorovatelných Markovských rozhodovacích procesů (POMDP)je pro tento druh problémů velmi vhodný, nebot' umožňuje modelovat jak nejistotu ohledně budoucího vývoje procesu, tak neúplnou znalost aktuálního stavu systému aumožńuje počítat s velastními budoucími rozhodnutími, které systém ovlivňují či přispívají k získávání informací o jeho stavu. V rámci této práce autor poskytuje úvod do teorie POMDPs a popisuje současné algoritmy řešení POMDP s přihlédnutím k jejich použitelnosti pro dynamický troubleshooting. Dále autor představuje konkrétní problém dynamického roubleshootingu, řeší jej pomocí obecných řešení POMDP a navrhuje pro něj vslatní heuristiku, která je snadno zobecnitelná i na širší třídu řešení POMDP, implementuje do něj změněné algoritmy a testuje je na představeném problému.

Dynamic troubleshooting is a process of analysing a running system in real time, predicting or detecting possible problems, correcting them and acting so as to avoid them. When realised by a computer in its most generic form it is an optimum decision problem. The framework of partially observable Markov decision processes (POMDPs) is well suited for such problems as it allows modelling the uncertainty of the future evolution of the process as well as the limited knowledge about the current state and enables to presume its own future choices of actions that alter the system or gain knowledge about it. In this work the author provides an introduction to the theory of POMDPs and describes current POMDP solution algorithms with respect to their applicability for dynamic troubleshooting. Further he presents a speci c dynamic troubleshooting problem, solves it using generic POMDP solutions and proposes his own heuristic for it which can be easily generalised to a wider class of POMDP problems. He creates a Python programming language framework for solving POMDPs, implements the mentioned algorithms within it and tests them on the presented problem.