Analýza současného stavu AI pro karetní hru Hearthstone.

Abstract

Zatiaľ čo poker ako rodina hier bol v posledných desaťročiach intenzívne študovaný, zberateľským kartovým hrám sa venuje relatívne malá pozornosť. Len nedávno sme videli agenta, ktorý môže konkurovať profesionálnym ľudským hráčom v Hearthstone, jednej z najpopulárnejších zberateľských kartových hier. Hoci umelí agenti musia byť schopní pracovať s nedokonalými informáciami v oboch týchto žánroch, zberateľské kartové hry predstavujú ďalšiu sadu odlišných výziev. Na rozdiel od mnohých pokrových variantov sa agenti musia vysporiadať so stavovým priestorom tak obrovským, že aj vymenovanie všetkých stavov v súlade s presvedčeniami agenta je neriešiteľné, čo robí súčasné me- tódy vyhľadávania nepoužiteľnými a vyžaduje, aby agenti zvolili iné techniky. Táto práca skúma silu takýchto techník v zberateľských kartových hrách tým, že sa naučí najlepšie reagovať na ByteRL, najmodernejšieho agenta v Legends of Code a Magic a Hearthstone. Hoci ByteRL vyhral dvojité prvenstvo v poslednej súťaži SCGAI a porazil 10 najlepších hráčov Hearthstone z Číny, ukazujeme, že jeho hra v Legends of Code and Magic pone- cháva priestor na ďalšie zlepšenie.

While Poker, as a family of games, has been studied extensively in the last decades, collectible card games have seen relatively little attention. Only recently have we seen an agent that can compete with professional human players in Hearthstone, one of the most popular collectible card games. Although artificial agents must be able to work with imperfect information in both of these genres, collectible card games pose another set of distinct challenges. Unlike in many poker variants, agents must deal with state space so vast that even enumerating all states consistent with the agent's beliefs is intractable, rendering the current search methods unusable and requiring the agents to opt for other techniques. This thesis investigates the strength of such techniques in collectible card games by learning a best response policy against ByteRL, the state-of-the-art agent in Legends of Code and Magic and Hearthstone. Although ByteRL won the double champi- onship in the last SCGAI Competition and beat a top-ten Hearthstone player from China, we show that its play in Legends of Code and Magic leaves room for further improvement.