Interactive tool for detecting redundant rows in datasets

Abstract

Redundancy is a common feature of large and heterogeneous datasets, often arising from data integration, denormalization, or performance-oriented design. It can take var- ious forms, such as partial duplicates, repeated rows, or overlapping attributes. Rather than being an issue to eliminate outright, redundancy can support faster access patterns, provide fault tolerance, or offer alternative paths for interpreting data. To take advan- tage of these benefits, it is essential to detect and understand redundancy in a structured and explainable way. This bachelor's thesis introduces an interactive tool for detect- ing redundant rows in CSV files. It relies on data profiling methods such as identifier detection, reference analysis, and functional dependency discovery to find and describe different types of redundancy. The developed prototype offers users an intuitive interface for exploring, checking, and interpreting redundancy.

Redundance je běžnou vlastností velkých a heterogenních datových souborů, která často vzniká v důsledku integrace dat, denormalizace nebo návrhu zaměřeného na výkon. Může mít různé podoby, například částečné duplicity, opakující se řádky nebo překrýva- jící se atributy. Spíše než jako problém, který je třeba zcela odstranit, může redundance podporovat rychlejší přístupové vzory, poskytovat odolnost proti chybám nebo nabízet alternativní cesty pro interpretaci dat. Aby bylo možné tyto výhody využít, je nezbytné redundanci zjistit a pochopit strukturovaným a vysvětlitelným způsobem. Tato bakalář- ská práce představuje interaktivní nástroj pro detekci redundantních řádků v souborech CSV. Využívá metody profilování dat, jako je detekce identifikátorů, analýza odkazů a zjišťování funkčních závislostí, k odhalení různých typů redundance. Vyvinutý prototyp nabízí uživatelům intuitivní rozhraní pro prozkoumávání, kontrolu a interpretaci redun- dance.