Extraction of business rules from variety of data

Abstract

Many datasets outlive the context in which they were created. Even well-structured data can become difficult to interpret when documentation, schema semantics, or domain assumptions are missing. Existing approaches recover parts of this knowledge through data profiling and integrity constraint discovery, but their outputs often remain frag- mented. This thesis proposes a phased approach for extracting metadata, integrity con- straints, and business rule candidates from unknown datasets. The results are stored in a graph database as a queryable metadata footprint. The approach is implemented in a proof-of-concept application using Apache Spark and Neo4j over CSV datasets, while keeping extensibility toward multi-model data representations in mind. Experiments on synthetic and real datasets show that the approach can reveal useful patterns and reference-based relationships, while also exposing limitations such as coincidental depen- dencies and the need for domain expert interpretation.

Mnoho datových sad přežije kontext, ve kterém byly vytvořeny. I dobře strukturo- vaná data mohou být obtížně interpretovatelná, pokud chybí dokumentace, sémantika schématu nebo doménové předpoklady. Existující přístupy obnovují část těchto znalostí pomocí profilování dat a objevování integritních omezení, jejich výstupy však často zů- stávají roztříštěné. Tato práce navrhuje fázový přístup k extrakci metadat, integritních omezení a kandidátů na byznysová pravidla z neznámých datových sad. Výsledky jsou ukládány do grafové databáze jako dotazovatelný metadatový otisk. Přístup je implemen- tován jako proof-of-concept aplikace využívající Apache Spark a Neo4j nad CSV daty, s ohledem na rozšiřitelnost směrem k multimodelovým datovým reprezentacím. Experi- menty nad syntetickými i reálnými datovými sadami ukazují, že přístup dokáže odhalit užitečné vzory a vztahy založené na referencích, ale zároveň odkrývá omezení, jako jsou náhodné závislosti a potřeba interpretace doménovým expertem.