Schema Inference for NoSQL Databases
Odvozování schématu v NoSQL databázích
diplomová práce (OBHÁJENO)
Zobrazit/ otevřít
Trvalý odkaz
http://hdl.handle.net/20.500.11956/148825Identifikátory
SIS: 229611
Kolekce
- Kvalifikační práce [10932]
Autor
Vedoucí práce
Oponent práce
Svoboda, Martin
Fakulta / součást
Matematicko-fyzikální fakulta
Obor
Softwarové a datové inženýrství
Katedra / ústav / klinika
Katedra softwarového inženýrství
Datum obhajoby
13. 9. 2021
Nakladatel
Univerzita Karlova, Matematicko-fyzikální fakultaJazyk
Angličtina
Známka
Výborně
Klíčová slova (česky)
Odvozování schématu|NoSQL databáze|Dokumentová datová úložiště|JSONKlíčová slova (anglicky)
Schema inference|NoSQL databases|Document-based data stores|JSONNoSQL databáze nabírají na popularitě kvůli svým nepopíratelným výhodám v oblasti ukládání a zpracování velkých dat, zejmnéna horizontální škálovatelnosti a faktu, že není potřeba předem definovat datové schéma. Nicméně, v nepřítomnosti explicitního sché- matu neoddělitelně od uložených dat existuje schéma implicitní, které se dá odvodit. Po odvození má toto schéma velkou hodnotu pro zúčastněné strany a databázové správce. Problém odvozování schématu je ovšem netriviální a je stále předmětem výzkumů. V práci pokrýváme mnohé aspekty odvozování schématu a modelování dat NoSQL, ana- lyzujeme několik existujících odvozovacích řešení co se týče jejich vnitřních principů a schopností, poukazujeme na jejich nedostatky a navrhujeme (1) nový horizontálně škálo- vatelný přístup založený na platformě Apache Spark a (2) nový NoSQL Schema meta- model schopný modelovat mj. mezientitní referenční vztahy a hluboce vnořené konstrukty JSON. Posléze experimentálně hodnotíme nově-navržený přístup s existujícími řešeními s ohledem na jejich funkční a výkonnostní dovednosti. 1
NoSQL databases are becoming increasingly more popular due to their undeniable advantages in the context of storing and processing big data, mainly horizontal scala- bility and the lack of a requirement to define a data schema upfront. In the absence of explicit schema, however, an implicit schema inherent to the stored data still exists and can be inferred. Once inferred, a schema is of great value to the stakeholders and database maintainers. Nevertheless, the problem of schema inference is non-trivial and is still the subject of ongoing research. We explore the many aspects of NoSQL schema inference and data modeling, analyze a number of existing schema inference solutions in terms of their inner workings and capabilities, point out their shortcomings, and devise (1) a novel horizontally scalable approach based on the Apache Spark platform and (2) a new NoSQL Schema metamodel capable of modeling i.a. inter-entity referential relation- ships and deeply nested JSON constructs. We then experimentally evaluate the newly designed approach along with the preexisting solutions with respect to their functional and performance capabilities. 1