Adaptivní agenti a emoce

Abstract

This thesis investigates possible assets of emotions for autonomous adaptive agents working in environments similar to the real world. In living organisms, emotions have developed as a mechanism of adaptation to the surrounding environment. Therefore it is worth asking whether mechanisms similar to emotions can be implemented in models of autonomous agents. In this thesis a model of ethology inspired agent using reinforcement learning was implemented. This model suggests that emotions influence the balance between exploring new strategies and exploiting the strategies already known (the so-called explore/exploit problem). Negative emotional evaluation leads to changes in action selection strategy. The emotional version proved to be better than the non-emotional one in some environments. In other types of environments, the expectations have not been fulfilled. The instability of the received results is probably caused by non-optimal parameterization of the whole model.

Tato práce zkoumá možný přinos emocí pro autonomní adaptivní agenty pracující v prostředích podobných skutečnému světu. Emoce u živých organismů vznikly jako jeden z mechanismů adaptace na okolní prostředí a je proto na místě klást si otázku zda by se jim podobné mechanismy nedaly přenést i do modelů autonomních agentů. V rámci práce byl implementován model etologicky inspirovaného agenta používajícího algoritmus zpětnovazebního učení. Emoce v něm ovlivňují vyvážení mezi průzkumem nových strategií a využíváním strategií již známých (tzv. "explore/exploit problem"). Negativní emocionální hodnocení současného počínání vede ke změně strategie výběru akcí. V některých typech prostředí dosahovala emocionální varianta agenta lepších výsledků než neemocionální, v jiných se ale očekávání nepotvrdila. Nestabilita výsledků je pravděpodobně zapříčiněna neoptimální parametrizací celého modelu.