Adaptive Agent in a FPS Game

Abstract

V této práci je navržen a implementován adaptivní protihráč v počítačové hře Unreal Tournament v jejím módu Deathmatch. Agent byl navržen pomocí zpětnovazebního učení a implementován na platformě Pogamut. Pro stavovou abstrakci byl použit clusterovací algoritmus k-means. Dále byl na platformě Pogamut vyvinut framework pro testování výkonu agentů. Tento framework byl použit pro provedení množství experimentů testující různé strategie pro výběr akcí a také byly otestovány různé parametry Q-Learning algoritmu. Výsledné chování má výkon srovnatelný s implementacemi zpětnovazebního učení popsanými v dostupné literatuře.

In this work I design and implement an adaptive oponent for the computer game Unreal Tournament for its Deathmatch mode. The agent has been designed using reinforcement learning and implemented on the Pogamut platform. A k-means clustering algorithm has been used for state abstraction. Furthermore an agent performance testing framework has been developed for the Pogamut platform aswell and used in this work. Several experiments testing different action-selection policies and different parameters of the Q-Learning algorithm were conducted. The resulting behaviour has a performance comparative to other implementations of reinforcement learning from other literature.