Support of designing data-driven experiments

Abstract

This thesis focuses on implementing selected concepts defined within the ExtremeXP project for working with data-driven experiments. It primarily addresses the design of experiments through a domain-specific language and its support in an integrated devel- opment environment (IDE) via an implemented language server. The resulting system further enables the generation of executable artifacts from experiment definitions and their execution directly within the development environment. The solution also pro- vides functionality for interacting with repositories of experiment definitions, facilitating their sharing and reuse. The proposed approach significantly improves reproducibility, maintainability, and user experience in the context of data-driven experimentation and, compared to existing solutions such as MLOps and AutoML, offers better component integration and simpler extensibility.

Tato práce se zabývá implementací vybraných konceptů definovaných v projektu Ex- tremeXP pro práci s experimenty řízenými daty. Zaměřuje se především na návrh expe- rimentů prostřednictvím doménově specifického jazyka a jeho podporu v integrovaném vývojovém prostředí (IDE) pomocí implementovaného jazykového serveru. Vytvořený sys- tém dále umožňuje generovat spustitelné artefakty z definice experimentu a následně je spouštět přímo ve vývojovém prostředí. Součástí řešení je i možnost práce s repozitáři definic experimentů, které usnadňují jejich sdílení a opětovné využití. Navržené řešení výrazně zlepšuje reprodukovatelnost, udržovatelnost a uživatelský komfort při práci s ex- perimenty řízenými daty a ve srovnání s existujícími řešeními typu MLOps a AutoML nabízí lepší propojení komponent a jednodušší rozšiřitelnost.