Search in Imperfect Information Games
Hledání v hrách s neúplnou informací
dissertation thesis (DEFENDED)

View/ Open
Permanent link
http://hdl.handle.net/20.500.11956/173905Identifiers
Study Information System: 136127
Collections
- Kvalifikační práce [11264]
Author
Advisor
Consultant
Bowling, Michael
Referee
Szepesvari, Csaba
Bošanský, Branislav
Faculty / Institute
Faculty of Mathematics and Physics
Discipline
Computer Science - Theory of Computing, Discrete Models and Optimization
Department
Department of Applied Mathematics
Date of defense
25. 8. 2021
Publisher
Univerzita Karlova, Matematicko-fyzikální fakultaLanguage
English
Grade
Pass
Keywords (Czech)
game theory|large extensive form games|Nash equilibrium|optimizationKeywords (English)
game theory|large extensive form games|Nash equilibrium|optimizationOd prvopočátku herních algoritmů byla kombinace hledání a ohodnocení budoucích stavů hry základním konceptem. Turingův šachový algoritmus z roku 1950 dokázal myslet dva kroky vpřed a Shannonova práce z roku 1950 obsahuje rozsáhlou část o způsobech ohodnocení stavů, které mají být použity při vyhledávání. Samuelův program pro hru dáma z roku 1959 již kombinuje vyhledávání a ohodnocení které se učí prostřednictvím selfp-play a bootstrap- pingu. TD-Gammon na tyto myšlenky navazuje a využívá neuronové sítě k osvojení těchto komplexních funkcí. Kombinace hledávání a hodnocení stavů byla přítomna v mnoha milnících, kde počítače překonaly své lidské protějšky - DeepBlue pro šachy a AlphaGo pro Go. Až donedávna byla tato kombinace omezena na hry s úplnou informací. Ale mnoho zajímavých problémů neposkytuje agentovi dokonalou informaci o prostředí. Tato práce uvádí čtenáře do metod umožňující hledání v hrách s neúplnou informací. 1
From the very dawn of the field, search with value functions was a fun- damental concept of computer games research. Turing's chess algorithm from 1950 was able to think two moves ahead, and Shannon's work on chess from 1950 includes an extensive section on evaluation functions to be used within a search. Samuel's checkers program from 1959 already combines search and value functions that are learned through self-play and bootstrapping. TD-Gammon improves upon those ideas and uses neural networks to learn those complex value functions - only to be again used within search. The combination of decision-time search and value functions has been present in the remarkable milestones where computers bested their human counterparts in long standing challenging games - DeepBlue for Chess and AlphaGo for Go. Until recently, this powerful framework of search aided with (learned) value functions has been limited to perfect information games. As many interesting problems do not provide the agent perfect information of the environment, this was an unfortunate limitation. This thesis introduces the reader to sound search for imperfect information games. 1