Schema Inference for NoSQL Databases

Abstract

NoSQL databáze nabírají na popularitě kvůli svým nepopíratelným výhodám v oblasti ukládání a zpracování velkých dat, zejmnéna horizontální škálovatelnosti a faktu, že není potřeba předem definovat datové schéma. Nicméně, v nepřítomnosti explicitního sché- matu neoddělitelně od uložených dat existuje schéma implicitní, které se dá odvodit. Po odvození má toto schéma velkou hodnotu pro zúčastněné strany a databázové správce. Problém odvozování schématu je ovšem netriviální a je stále předmětem výzkumů. V práci pokrýváme mnohé aspekty odvozování schématu a modelování dat NoSQL, ana- lyzujeme několik existujících odvozovacích řešení co se týče jejich vnitřních principů a schopností, poukazujeme na jejich nedostatky a navrhujeme (1) nový horizontálně škálo- vatelný přístup založený na platformě Apache Spark a (2) nový NoSQL Schema meta- model schopný modelovat mj. mezientitní referenční vztahy a hluboce vnořené konstrukty JSON. Posléze experimentálně hodnotíme nově-navržený přístup s existujícími řešeními s ohledem na jejich funkční a výkonnostní dovednosti. 1

NoSQL databases are becoming increasingly more popular due to their undeniable advantages in the context of storing and processing big data, mainly horizontal scala- bility and the lack of a requirement to define a data schema upfront. In the absence of explicit schema, however, an implicit schema inherent to the stored data still exists and can be inferred. Once inferred, a schema is of great value to the stakeholders and database maintainers. Nevertheless, the problem of schema inference is non-trivial and is still the subject of ongoing research. We explore the many aspects of NoSQL schema inference and data modeling, analyze a number of existing schema inference solutions in terms of their inner workings and capabilities, point out their shortcomings, and devise (1) a novel horizontally scalable approach based on the Apache Spark platform and (2) a new NoSQL Schema metamodel capable of modeling i.a. inter-entity referential relation- ships and deeply nested JSON constructs. We then experimentally evaluate the newly designed approach along with the preexisting solutions with respect to their functional and performance capabilities. 1