Natural language communication with Robots

Abstract

Interpreting natural language actions in a simulated world is the first step towards robots controlled by natural language commands. In this work we present several models for interpreting unrestricted natural language commands in a simple block world. We present and compare rule-based models and recurrent neural network models of various architectures. We also discuss strategies to deal with errors in natural language data and compare them. On the Language Grounding dataset, our models outperform the previous state-of-the-art results in both source and location prediction reaching source accuracy 98.8% and average distance 0.71 between the correct and predicted location.

Interpretace akcí popsaných přirozeným jazykem v simulovaném světě je prvním krokem k robotům ovládaným příkazy v přirozeném jazyce. V této práci popíšeme několik modelů pro interpretaci nijak neomezených příkazů v přirozeném jazyce v prostředí jednoduchého světa s kostkami. Ukážeme a srovnáme pravidlové modely s modely založenými na rekurentních neuronových sítích různých architektur. Také popíšeme strategie pro opravu chyb ve větách v přirozeném jazyce a srovnáme je. Na Language Grounding datasetu naše modely překonají předchozí nejlepší modely a dosáhnou přesnosti 98.8% při predikci zdrojové kostky a průměrné vzdálenosti 0.71 mezi předpovídanou a správnou cílovou polohou přesunované kostky.