Modern evolutionary strategies for reinforcement learning problems

Abstract

Evoluční strategie reprezentují jeden z přístupů k řešení problémů zpětno- vazebného učení. V této práci jsou zkoumány dvě moderní evoluční strategie, jmenovitě OpenAI-ES a NS-ES (a její rozšíření) využívající hledání novosti. Chování těchto algoritmů je zkoumáno na dvou benchmark prostředích pro zpětnovazebné učení, Cartpole-swingup a Slimevolley. V Cartpole-swingup je většina přístupů schopna úspěšně vyřešit problém, zatímco chování ve Slimevolley je volatilní a citlivé na úvodní seed v porovnání s tradičními metodami jako CMA-ES. 1

Evolutionary strategies represent one of approaches to solve reinforce- ment learning tasks. This thesis explores two modern evolutionary strategies, namely OpenAI-ES and NS-ES (and extensions) utilizing novelty search. The performance of these algorithms is studied in two benchmark reinforcement learning environments, Cartpole-swingup and Slimevolley. On Cartpole- swingup most approaches are able to solve the problem successfully, while the performance on the Slimevolley task is volatile and sensitive to initial seed, in comparison to more traditional approaches, such as CMA-ES. 1