Použitie strojového učenia pre deskovú hru Azul

Abstract

Title: Usage of the machine learning for the board game Azul Author: Marek Sádovský Department: Department of Software and Computer Science Education (201. 32-KSVI) Supervisor: RNDr. Tomáš Holan, Ph.D., department Abstract: This thesis focuses on the application of deep reinforcement learning methods to the board game Azul, which is characterized by its strategic depth and simple rules. The aim was to design and implement an artificial player capable of playing the game effectively without relying on predefined strategies. Two advanced deep reinforcement learning methods were selected to address this task - Deep Q-Learning (DQN) and Proximal Policy Optimization (PPO). Both approaches were implemented in the C# programming language and evaluated through simulations of matches between different agent types. Special attention was paid to the representation of the game state and the design of a reward function that accurately reflects the game's objectives. Experimental results demonstrated that while the PPO algorithm was able to learn basic game strategies, the DQN algorithm proved ineffective and failed to outperform a random agent. Keywords: Unity, C#, machine learning

Název práce: Použitie strojového učenia pre deskovú hru Azul Autor: Marek Sádovský Katedra: Katedra softwaru a výuky informatiky (201. 32-KSVI) Vedoucí bakalářské práce: RNDr. Tomáš Holan, Ph.D., katedra Abstrakt: Tato práce se zabývá aplikací metod hlubokého posilovaného učení na deskovou hru Azul, která se vyznačuje strategickou hloubkou při zachování jednoduchých pravidel. Cílem bylo navrhnout a implementovat umělého hráče, který by byl schopen efektivně hrát tuto hru bez využití předem definovaných strategií. Pro řešení problému byly zvoleny dvě pokročilé metody hlubokého posilovaného učení - Deep Q-Learning (DQN) a Proximal Policy Optimization (PPO). Obě metody byly implementovány v programovacím jazyce C# a testovány prostřednictvím simulací her mezi různými typy agentů. Zvláštní pozornost byla věnována reprezentaci herního stavu a návrhu odměňovací funkce, která odpovídá skutečným cílům hry. Experimentální výsledky ukázaly, že zatímco algoritmus PPO je schopen osvojit si základní herní strategie, algoritmus DQN se ukázal jako neefektivní a nedosáhl lepších výsledků než náhodně jednající agent. Klíčová slova: Unity, C#, strojové učenie