Uncovering Data Leakage in Imbalanced Datasets with Popular Machine Learning Pipelines

Abstract

The increasing use of machine learning for prediction and classification tasks has led to numerous reports of strong model performance across a wide range of domains. Nevertheless, when data leakage occurs, in which training data contains information unavailable in real-world settings, such results may not be fully reliable, as indicated by recent research. This study examines the ef- fects of data leakage in highly imbalanced binary classification problems. Using more than thirty datasets with substantially varying sizes and models for su- pervised learning and novelty detection, we evaluate several common sources of data leakage across the full machine learning pipeline. The results indicate that oversampling-related leakage can severely distort reported performance, despite its presence in some applied studies including published payment fraud detection research. While the effects of the remaining examined leakage types appear marginal or even negligible on average, exceptions depending on the dataset, model, and the modelling process specification may arise, leading to more inflated performance estimates. JEL Classification C45, C52, G17 Keywords data leakage, machine learning, class imbalance, payment fraud detection Title Uncovering Data Leakage in Imbalanced Datasets with Popular Machine...

Rostoucí využití strojového učení pro predikční a klasifikační úlohy vedlo k mno- ha zprávám o vysoké výkonnosti modelů napříš různými doménami. Nicméně v případech, kdy dochází k úniku dat, kdy trénovací data obsahují informace, které by v reálném nasazení nebyly dostupné, nemusí být tyto výsledky plně spolehlivé, jak ukazuje nedávný výzkum. Tato studie zkoumá dopady úniků dat v úlohách binární klasifikace s výrazně nevyváženými daty. Pomocí více než třiceti datasetů výrazně odlišných velikostí a za použití modelů pro super- vizované učení i detekci anomálií je hodnoceno několik běžných zdrojů úniku dat v celém modelovacím procesu. Výsledky ukazují, že únik spojený s přev- zorkováním může výrazně zkreslit reportovanou výkonnost, a to i přes jeho výskyt v některých aplikačních studiích včetně výzkumu detekce platebních podvodů. Ačkoli vliv zbývajících zkoumaných typů úniků se v průměru jeví jako marginální nebo dokonce zcela zanedbatelný, vyskytují se výjimky závislé na datasetu, modelu a nastavení procesu modelování, které mohou vést k většímu nadhodnocení výkonnosti. Klasifikace JEL C45, C52, G17 Klíčová slova únik dat, strojové učení, nevyvážená data, detekce podvodných plateb Název práce Odhalování úniku dat v nevyvážených da- tových sadách s využitím populárních pos- tupů ve strojovém učení