Agent-Based Simulation of a Discrete-Time Market with Reinforcement Learning

Abstract

Title: Agent-Based Simulation of a Discrete-Time Market with Reinforcement Learning Author: Jakub Michalski Department: Department of Applied Mathematics Supervisor: Mgr. Martin Schmid, Ph.D., Department of Applied Mathematics Consultant: Augustine Lebron, MASc Abstract: This thesis presents a simple, discrete-time, agent-based market simula- tor for studying the emergent behaviour of interacting trading agents. The market is a batch auction with a limit order book, deliberately simplified compared to a real exchange to keep it transparent and reproducible. Six agent types are implemented, including several market makers, a random trader, a whale, and a reinforcement learning agent trained with PPO. Rule-based scenarios show that the simulator reproduces expected behaviour, such as market makers profiting from noise traders and price trends driven by a large participant. The reinforce- ment learning agent learns to exploit the directional structure of the market; with a bounded position, it behaves as a robust, consistently profitable trend-follower. Keywords: agent-based simulation, limit order book, reinforcement learning, market microstructure

Název práce: Agent-Based simulace diskrétního časového trhu s využitím deep reinforcement learning Autor: Jakub Michalski Katedra: Katedra aplikované matematiky Vedoucí bakalářské práce: Mgr. Martin Schmid, Ph.D., Katedra aplikované matematiky Konzultant: Augustine Lebron, MASc Abstrakt: Tato práce představuje jednoduchý agentní simulátor finančního trhu v diskrétním čase, určený ke studiu chování vzájemně interagujících agentů. Trh je modelován jako batch auction s knihou objednávek a je oproti reálné burze záměrně zjednodušen, aby byl přehledný a umožňoval reprodukovatelné experimenty. Simulátor obsahuje šest typů agentů, mezi něž patří několik market makerů, náhodný obchodník, whale a agent zpětnovazebního učení trénovaný metodou PPO. Experimenty se scénáři založenými na pevných pravidlech ukazují, že simulátor reprodukuje očekávané chování trhu - například market makeři dosahují zisku díky obchodům s náhodnými obchodníky a whale vytváří cenové trendy. Agent zpětnovazebního učení se naučí využívat směrovou strukturu trhu a při omezené velikosti pozice se chová jako robustní a konzistentně ziskový trend-follower. Klíčová slova: agentní simulace, kniha objednávek, zpětnovazební učení, mikrostruk- tura trhu