Using Adversarial Examples in Natural Language Processing

Abstract

Machine learning has been paid a lot of attention in recent years. One of the studied fields is employment of adversarial examples. These are artifi- cially constructed examples which evince two main features. They resemble the real training data and they deceive already trained model. The ad- versarial examples have been comprehensively investigated in the context of deep convolutional neural networks which process images. Nevertheless, their properties have been rarely examined in connection with NLP-processing networks. This thesis evaluates the effect of using the adversarial examples during the training of the recurrent neural networks. More specifically, the main focus is put on the recurrent networks whose text input is in the form of a sequence of word/character embeddings, which have not been pretrained in advance. The effects of the adversarial training are studied by evaluating multiple NLP datasets with various characteristics.

Strojové učení patří v posledních letech k hojně studovaným oborům. Jednou ze zkoumaných oblastí je využívání adverzálních příkladů, což jsou uměle vytvořené příklady, které mají dva charakteristické rysy. Jsou velmi podobné skutečným trénovacím příkladům a předem natrénované modely na nich dosahují podstatně horších výsledků. Adverzální příklady již byly studovány v kontextu hlubokých konvolučních neuronových sítí, které zpra- covávají obrázky, ale jejich vlastnosti byly jen zřídka zkoumány v souvis- losti s rekurentními sítěmi zpracovávajícími přirozený jazyk. Tato práce an- alyzuje dopady využívání adverzálních příkladů na trénování rekurentních neuronových sítí. Konkrétně se práce soustředí na rekurentní sítě, které mají na vstupu posloupnost slov nebo znaků v jejich vektorových reprezentacích. Tyto reprezentace nebyly předem natrénovány. Za účelem vyhodnocení vlivu adverzálního tréninku jsou studovány různé datové sady z oblasti zpracování přirozeného jazyka.