Hindsight experience replay technique for combinatorial problems with predefined goal

Abstract

This thesis studies the effect of applying Hindsight Experience Replay (HER) to com- binatorial problems with predefined goal: Rubik's Cube, Sliding Puzzle and Lights Out. Three reinforcement learning algorithms-PPO, PQN, and a novel PQN+ augmenting PQN with dueling networks, distributional value, and noisy networks-are combined with HER. The trained agent's policy then serves as a heuristic function for beam search. The method succesfully solves well scrambled Sliding Puzzle, 7 × 7 Lights Out, and medium length scrambles of Rubik's Cube. Ablations confirm HER is an essential part of the agent and that the standard RL with HER can produce a useful heuristic function with- out domain-specific knowledge, providing a general alternative to hand-crafted heuristics.

Tato práce studuje účinek použití metody přehrávání zkušeností se zpětným pohle- dem (HER) na kombinatorických úlohách s předdefinovaným cílem, konkrétně Rubikovu kostku, Loydovu patnáctku a hru Lights Out. Naše metoda kombinuje s technikou HER tři algoritmy zpětnovazebného učení-PPO, PQN a nový PQN+ rozšiřující PQN o du- eling architekturu, distribuční reprezentaci hodnoty a šumové neuronové síťe. Natréno- vaná neuronová síť je poté použita jako heuristická funkce pro paprskové prohledávání. Navržená metoda úspěšně skládá dobře zamíchanou Loydovu patnáctku, hlavolam Li- ghts Out a středně dlouhé zamíchání Rubikovy kostky. Ablační experimenty potvrzují, že HER je ve zkoumaném prostředí s řídkou odměnou nezbytnou součástí metody a že standardní zpětnovazebnní učení kombinované s HER může bez specifických znalostí o prostředí vytvořit užitečnou heuristickou funkci, a nabídnout tak obecnou alternativu k ručně navrženým heuristikám.