Řešení problémů pomocí MCTS

Abstract

Název práce: Řešení problémů pomocí MCTS Autor: Dominik Malý Katedra (ústav): Katedra teoretické informatiky a matematické logiky Vedoucí diplomové práce: RNDr. Jan Hric E-mail vedoucího: Jan.Hric@mff.cuni.cz Abstrakt: MCTS (Monte Carlo Tree Search) techniky jsou v současné době nejlepšími známými algoritmy pro počítačové řešení strategické deskové hry Go. Vzhledem k univerzálnosti a úspěšnosti těchto technik se však nabízí možnost užití i v jiných úlohách. Úkolem této práce je prozkoumat vhodnost MCTS pro řešení jiných problémů, konkrétně her jednoho hráče, jakými jsou například Sudoku nebo SameGame. Naprogramoval jsem počítačového hráče založeného na MCTS, který dokáže řešit úlohy tohoto typu a aplikoval ho na Sudoku a SameGame. Experimentálně jsem ověřil vhodnost různých rozšíření MCTS algoritmu na řešení těchto her a pomocí rozsáhlého testování porovnal také úspěšnost konkrétních nastavení výběrových UCT funkcí a užitých heuristik. V případě hry SameGame jsem navíc svůj algoritmus porovnal s jinými publikovanými výsledky zabývajícími se stejnou problematikou. Popsal jsem, jaké problémy musí programy řešící hry jednoho hráče pomocí MCTS překonávat, a jakými vlastnostmi by takovéto problémy obecně měly disponovat, aby na ně byly Monte Carlo techniky s úspěchem použitelné. Klíčová slova: MCTS, Go, Sudoku,...

Title: Solving problems using MCTS Author: Dominik Malý Department: Department of theoretical informatics and mathematical logic Supervisor: RNDr. Jan Hric Supervisor's e-mail address: Jan.Hric@mff.cuni.cz Abstract: MCTS (Monte Carlo Tree Search) methods are a state-of-the-art approach to the computer solution of strategic board game Go. Because of their versatility and successfulness, these techniques show great potential for all kinds of problems. This paper aims to explore the suitability of MCTS for solving different kind of problems, specifically games of one player, like Sudoku or SameGame. I've created a computer player based on MCTS, who can solve not only Sudoku and SameGame, but also other tasks of similar kind. I've experimentally examined many MCTS extensions and their eligibility for solving these games and through extensive testing I've also compared the suitability of various kinds of UCT selection fun- ctions and used heuristics. In case of SameGame I've compared my algorithm to another exi- sting one undertaking the same problem. In the end I've described what kind of problems has a MCTS-based computer player to overcome, if it is to successfully solve games of this type, and what characteristics should these problems posses to be suitable for MCTS solution. Keywords: MCTS, Go, Sudoku,...