Použití plánovacích technik pro generování sportovního komentáře pro dvojici virtuálních agentů

Abstract

Virtuální agenti jsou významní reprezentanti multimodálních uživatelských rozhraní. Tato práce představuje systém IVAN (Intelligent Interactive Virtual Agent Narrators), který v reálném čase generuje emotivně zabarvené komentáře k tenisovému utkání zadanému jako anotované video. Systém využívá dvou různých virtuálních agentů, kteří mají odlišné role (TV komentátor a expert), různé profily osobnosti a pozitivní, neutrální nebo negativní postoj k jednotlivým hráčům. Systém používá HTN plánovač pro generování dialogů, což umožňuje plánování delších dialogů a generování alternativních plánů. Systém může také přerušit projev agenta, pokud dojde k významnější události, kterou je třeba okomento- vat. Emotivní stav virtuálních agentů je vyjádřen lexikálním výběrem, výrazem obličeje a gesty. Práce je zaměřena na plánování dialogů, zpracování znalostí a řízení chování virtuálních agentů. Jako audio-vizuální komponenta systému byl využit komerční soft- ware.

Virtual agents are essential representatives of multimodal user interfaces. This thesis presents the IVAN system (Intelligent Interactive Virtual Agent Narrators) that generates affective commentary on a tennis game that is given as an annotated video in real-time. The system employs two distinguishable virtual agents that have different roles (TV com- mentator, expert), personality profiles, and positive, neutral, or negative attitudes to the players. The system uses an HTN planner to generate dialogues which enables to plan large dialogue contributions and generate alternative plans. The system can also interrupt the current discourse if a more important event happens. The current affect of the virtual agents is conveyed by lexical selection, facial expression, and gestures. We have focused on the dialogue planning, knowledge processing, and behaviour control of the virtual agents. Commercial products have been used as the audio-visual component of the system.