Modern evolutionary strategies for reinforcement learning problems
Moderní evoluční strategie pro problémy zpětnovazebního učení
bachelor thesis (DEFENDED)

View/ Open
Permanent link
http://hdl.handle.net/20.500.11956/148264Identifiers
Study Information System: 237567
Collections
- Kvalifikační práce [9699]
Author
Advisor
Referee
Pešková, Klára
Faculty / Institute
Faculty of Mathematics and Physics
Discipline
General Computer Science
Department
Department of Theoretical Computer Science and Mathematical Logic
Date of defense
10. 9. 2021
Publisher
Univerzita Karlova, Matematicko-fyzikální fakultaLanguage
English
Grade
Excellent
Keywords (Czech)
evoluční strategie|zpětnovazební učení|hledání novosti|neuroevolutceKeywords (English)
evolutionary strategies|reinforcement learning|novelty search|neuroevolutionEvoluční strategie reprezentují jeden z přístupů k řešení problémů zpětno- vazebného učení. V této práci jsou zkoumány dvě moderní evoluční strategie, jmenovitě OpenAI-ES a NS-ES (a její rozšíření) využívající hledání novosti. Chování těchto algoritmů je zkoumáno na dvou benchmark prostředích pro zpětnovazebné učení, Cartpole-swingup a Slimevolley. V Cartpole-swingup je většina přístupů schopna úspěšně vyřešit problém, zatímco chování ve Slimevolley je volatilní a citlivé na úvodní seed v porovnání s tradičními metodami jako CMA-ES. 1
Evolutionary strategies represent one of approaches to solve reinforce- ment learning tasks. This thesis explores two modern evolutionary strategies, namely OpenAI-ES and NS-ES (and extensions) utilizing novelty search. The performance of these algorithms is studied in two benchmark reinforcement learning environments, Cartpole-swingup and Slimevolley. On Cartpole- swingup most approaches are able to solve the problem successfully, while the performance on the Slimevolley task is volatile and sensitive to initial seed, in comparison to more traditional approaches, such as CMA-ES. 1