Efficient Methods for Updating Software Library Knowledge in Code-Generating Large Language Models

Abstract

Large language models used for code generation become outdated as software libraries evolve after their pre-training. This thesis investigates efficient methods for updating code-generation models with new API knowledge without retraining from scratch. A benchmark dataset of 150 pandas API updates released after the model's knowledge cutoff is constructed from real library evolution and manually verified synthetic updates. The thesis compares prompt-based updating using In-Context Learning, parameter-efficient fine-tuning with Low-Rank Adaptation (LoRA), and knowledge editing using WISE and UltraEdit. The methods are evaluated on update accuracy, generalisation to paraphrased instructions, retention of general programming ability, locality, and computational effi- ciency. The experiments show that LoRA consistently achieves the highest update ac- curacy while preserving existing capabilities, whereas In-Context Learning provides a strong training-free alternative, and UltraEdit offers faster updates at lower accuracy. The results provide a systematic comparison of knowledge-updating methods for evolving software libraries and demonstrate the trade-offs between update quality, efficiency, and knowledge preservation in code-generating large language models. 1

Velké jazykové modely používané pro generování zdrojového kódu se s vývojem soft- warových knihoven po dokončení jejich předtrénování stávají zastaralými. Tato bakalářská práce zkoumá efektivní metody aktualizace modelů pro generování kódu o nové znalosti aplikačních programovacích rozhraní (API) bez nutnosti jejich opětovného trénování od začátku. Byl vytvořen referenční datový soubor obsahující 150 aktualizací API knihovny pandas, které byly vydány po datu znalostního omezení použitého modelu. Datový soubor kombinuje skutečné změny ve vývoji knihovny s ručně ověřenými synteticky vytvořenými aktualizacemi. Práce porovnává promptovací přístup založený na metodě In-Context Lear- ning, parametricky efektivní dolaďování pomocí Low-Rank Adaptation (LoRA) a metody editace znalostí WISE a UltraEdit. Jednotlivé metody jsou hodnoceny z hlediska přesnosti aktualizace, schopnosti zobecnit na parafrázované instrukce, zachování obecných schop- ností generování kódu, lokality provedených změn a výpočetní efektivity. Experimenty ukazují, že metoda LoRA dosahuje nejvyšší přesnosti při aktualizaci při současném za- chování stávajících schopností modelu, zatímco In-Context Learning představuje silnou alternativu nevyžadující trénování a UltraEdit umožňuje rychlejší aktualizace za cenu nižší přesnosti. Výsledky poskytují...