A Tool for Dynamic Benchmarking of Multi-Model Data Management Systems

Abstract

This thesis addresses the challenge of benchmarking multi-model data management systems that support diverse data models. Existing benchmarks are limited in scope, often static, and fail to reflect data evolution or model interoperability. To overcome this, we propose a novel tool for generating dynamic, customizable benchmarks from het- erogeneous datasets. The tool integrates schema inference, editing, transformation, and export functionalities using a unified graphical interface. It supports output to multiple systems and versions, enabling comparative performance evaluations across models. Ex- perimental results using real-world datasets demonstrate the flexibility and effectiveness of the tool. To support reproducibility and sharing of benchmark data, a curated dataset repository named DaRe was also created.

Tato práce se zabývá problémem hodnocení výkonnosti systémů pro správu multi- modelových dat, podporujících různé datové modely. Stávající benchmarky mají ome- zený rozsah, jsou často statické a neberou v úvahu vývoj dat ani interoperabilitu modelů. Abychom tento problém překonali, navrhujeme nový nástroj pro tvorbu dynamických benchmarků z různorodých dat, který umožňuje přizpůsobení konkrétním potřebám. Ná- stroj integruje funkce odvozování schémat, úprav, transformace a exportu pomocí jednot- ného grafického rozhraní. Podporuje výstup do více systémů a verzí, což umožňuje srov- návací výkonostní analýzu systémů napříč modely. Experimentální výsledky s použitím reálných datových sad demonstrují flexibilitu a efektivitu nástroje. K reprodukovatelnosti a sdílení benchmarkových dat přispívá spravovaný repozitář DaRe.