Multilingual Detection of Persuasion Techniques in Text using Large Language Models

Abstract

This thesis leverages the open-source large language model Llama 3.3 for fine-grained persuasion techniques detection in multilingual news articles, generating span-based an- notations with structured JSON output. We implement a robust reprompting mechanism to address erroneous outputs. We investigate zero-shot and few-shot prompting of the base model and its QLoRA fine-tuned variant, and evaluate multiple system prompt variants and two span-to-article alignment strategies. Few-shot prompting with same- language examples proves to be most effective across languages. Our findings reveal limited cross-lingual transferability for both in-context learning and QLoRA fine-tuning. We also show that QLoRA fine-tuning can compensate for the model's limited multilin- gual coverage. Our method demonstrates adaptability to diverse annotation schemes.

Tato práce využívá open-source velký jazykový model Llama 3.3 pro detailní de- tekci přesvědčovacích technik ve vícejazyčných novinových článcích anotováním textových úseků pomocí strukturovaného JSON výstupu. Implementujeme robustní mechanismus opakovaného dotazování pro řešení chybných výstupů. Zkoumáme zero-shot a few-shot prompting základního modelu a jeho QLoRA fine-tunované varianty a vyhodnocujeme více variant systémových promptů a dvě strategie zarovnání predikovaných textových úseků k článku. Few-shot prompting s příklady ve stejném jazyce se ukazuje jako neje- fektivnější napříč jazyky. Naše zjištění odhalují omezenou mezijazykovou přenositelnost napříč jazyky jak pro in-context learning, tak pro QLoRA fine-tuning. Dále ukazujeme, že QLoRA fine-tuning může kompenzovat omezené vícejazyčné pokrytí modelu. Naše metoda prokazuje adaptabilitu na různá anotační schémata.