Adapting Pretrained Models for Machine Translation

Abstract

Pre-trained language models received extensive attention in recent years. However, it is still challenging to incorporate a pre-trained model such as BERT into natural language generation tasks. This work investigates a recent method called adapters as an alternative to fine-tuning the whole model in machine translation. Adapters are a promising approach that allows fine-tuning only a tiny fraction of a pre-trained network. We show that with proper initialization, adapters can help achieve better performance than training models from scratch while training substantially fewer weights than the original model. We further show that even with randomly set weights used as the base models for fine-tuning, we can achieve similar performance to one of the baseline models, bypassing the need to train hundreds of millions of weights in the pre-training phase. Furthermore, we study the effectiveness of adapters in the Transformer model for machine translation. We put adapters either in the encoder or the decoder only, and we also attempt to down-scale the pre-trained model size to decrease GPU memory demands. We found that incorporating adapters in the encoder alone matches the setup's performance when we include the adapters on both the encoder and decoder. Finally, our down-scaling study found that using only half...

Předtrénované jazykové modely jako například BERT v posledních letech sklízejí mnoho úspěchů, je však stále obttížné uplatnit je v úlohách generování textů přirozeného jazyka. Tato práce se zabývá nedávno navrženou technikou tzv. adaptérů jako slibné alternativy k dotrénovávání celé předtrénované sítě a studuje ji v oblasti strojového překladu. Adaptéry umožňují dotrénovat jen velmi malou část předtrénované sítě. Ukazu- jeme, že s vhodnou inicializací dosahují adaptéry lepších výsledků než trénování modelů od počátku; s adaptéry se přitom trénuje podstatně méně vah, než má plný model. Přek- vapující zjištění je, že adaptéry dovolí dosáhnout kvality blízké základnímu modelu i v pří- padě, že je vložíme a natrénujeme do sítě s fixními váhami, které byly nastaveny náhodně. Předtrénování základní sítě na velkých datech si v tomto případě můžeme ušetřit. Dále zkoumáme účinnost adaptérů v architektuře Transformeru uplatněné v úloze strojového překladu. Adaptéry vkládáme jen do enkodéru nebo jen do dekodéru, a pro ušetření paměti GPU se rovněž pokoušíme zmenšit velikost předtrénovaného modelu. Ukazuje se, že adaptéry použité jen v enkodéru vedou k obdobné kvalitě jako adaptéry použité v enkodéru i dekodéru současně. Studie zmenšování modelu pak ukazuje, že použití pouze poloviny předtrénovaných vah může s adaptéry...