Development of trainable policies for spoken dialogue systems

Abstract

Abstraktní Vývoj trénovatelných strategií řízení pro dialogové systémy Thanh Le Řeč je nejpřirozenějším a nejefektivnějším způsobem mezilidské komunikace. Hlasové dialogové systémy (Spoken Dialogue Systems, SDS) se pokouší uvést tento způsob interakce do počítačových systému, aby pro komunikaci se stroji nebylo nutné naučit se používat speciální vstupní zařízení jako je klávesnice a myš. Nepřesnosti v automatickém rozpoznávání řeči však způsobují inherentní nejednoznačnost mluveného vstupu, takže stav dialogu (přání uživatele) nelze znát s absolutní jistotou a konstrukce SDS není triviální. Pro práci s nejistotou v dialogu byly navrženy statistické přístupy, které udržují pravděpodobnostní rozdělení přes všechny možné stavy dialogu. Na základě tohoto rozdělení se systém učí, jak komunikovat s uživateli a splnit jejich cíle co nejefektivnějším způsobem. V kontextu techniky zpětnovazebního učení (Reinforcement Learning, RL) se proces učení chápe jako optimalizace strategie volby akce podmíněné aktuálním stavem. Protože prostor možných stavů dialogu je velký i ve velmi omezených SDS, ...

Abstract Development of trainable policies for spoken dialogue systems Thanh Le In human­human interaction, speech is the most natural and effective manner of communication. Spoken Dialogue Systems (SDS) have been trying to bring that high level interaction to computer systems, so with SDS, you could talk to machines rather than learn to use mouse and keyboard for performing a task. However, as inaccuracy in speech recognition and inherent ambiguity in spoken language, the dialogue state (user's desire) can never be known with certainty, and therefore, building such a SDS is not trivial. Statistical approaches have been proposed to deal with these uncertainties by maintaining a probability distribution over every possible dialogue state. Based on these distributions, the system learns how to interact with users, somehow to achieve the final goal in the most effective manner. In Reinforcement Learning (RL), the learning process is understood as optimizing a policy of choosing action conditioned on the current belief state. Since the space of dialogue...