Text Style Transfer with Neural Language Models

Abstract

Transfer stylu textu (TST) si klade za cíl změnit stylistické vlastnosti textu při za- chování obsahu nezávislého na stylu. I přes nedávný pokrok čelí TST několika výz- vám: nedostatku dat, omezenému pokrytí jazyků, nejednotným evaluačním meto- dám a nedostatečně prozkoumaným praktickým aplikacím. Tato práce se těmto výzvám věnuje prostřednictvím pěti hlavních příspěvků. Nejprve vyvíjíme efek- tivní metody pro TST s využitím neuronových jazykových modelů v prostředí s omezenými zdroji, kde prokazujeme úspěšnost jak s neparalelními, tak s minimál- ními paralelními daty. Dále rozšiřujeme výzkum TST do vícejazyčného prostředí vytvořením datových sad v několika indických jazycích a stanovením benchmarku pro dvě populární podúlohy TST - transfer sentimentu a detoxifikaci textu. Poté zavádíme vylepšené evaluační metriky, které vykazují lepší korelaci s lidským hod- nocením, přičemž zkoumáme využití velkých jazykových modelů jako evaluačních nástrojů. Praktickou využitelnost TST demonstrujeme vyvinutím zdvořilého chat- bota, který využívá transfer zdvořilosti pro generování kontextově vhodných odpo- vědí. Na závěr podáváme komplexní analýzu schopností velkých jazykových modelů v úlohách TST napříč více jazyky, přičemž identifikujeme jejich potenciál i omezení. Naše zjištění posouvají obor kupředu tím, že...