Parameter-efficient unlearning of sensitive data in Large Language Models

Abstract

Large language models show remarkable performance in many natural language pro- cessing tasks. However, their pre-training on web-scraped data raises ethical concerns and potentially legal issues. Due to their ability to remember portions of their training data, they may regurgitate sensitive personal information or copyrighted content present in the data. As retraining the models on each information removal request is prohibitively expensive, we investigate the field of machine unlearning. To further increase the effi- ciency of unlearning, we employ parameter-efficient fine-tuning. We evaluated our method on a shared task of the International Workshop on Semantic Evaluation, on which we achieved a high ranking.

Velké jazykové modely vykazují skvělý výkon v mnoha úlohách zpracování přirozeného jazyka. Jejich trénování vyžadující velké množství dat, které je často získávané z internetu, se ovšem může potýkat s etickými a právními problémy. Jelikož jsou si tyto modely schopné zapamatovat části jejich trénovacích dat, jsou také schopné reprodukovat citlivé osobní údaje nebo obsah chráněný autorským právem. Trénovat tyto modely od začátku po každém odebrání nechtěného obsahu z trénovacích dat je neefektivní, a proto jsme se zaměřili na oblast strojového odnaučování. Pro zvýšení efektivity odnaučování jsme využili metod paměťově efektivního dolaďování. Naši metodu jsme odeslali do soutěže na mezinárodním workshopu SemEval, kde jsme se v rámci evaluace na jednom z modelů umístili na třetím místě.