Optimizing Workload Selection for Performance Testing of the GraalVM JIT Compiler

Abstract

The GraalVM compiler's performance is continuously tested using a large number of benchmarks from several suites, each executed repeatedly to mitigate the system's inher- ent performance fluctuations with statistical robustness. Since there are many versions to be tested daily, this poses significant demands on computational resources. These demands can be reduced by selecting a subset of these benchmarks that retains similar ability to detect significant performance changes. This thesis presents a toolset for ana- lyzing historical performance data and identifying dependencies between benchmarks in order to select such representative subsets and evaluate their effectiveness. The toolset is modular and supports extension through well-defined interfaces. Its fitness for purpose is demonstrated in two proof-of-concept experiments.

Výkon překladače GraalVM je průběžně sledován pomocí rozsáhlých sad zátěžových testů (benchmarků). Pro potlačení přirozené variability výsledků jsou testy spouštěny opakovaně a jejich výstupy zpracovávány statistickými metodami. Vzhledem k vysoké frekvenci vydávání nových verzí GraalVM vyžaduje tento proces značné výpočetní kapa- city. Výpočetní náročnost lze snížit omezením rutinního testování na podmnožinu ben- chmarků zachovávající schopnost detekovat významné změny výkonu. Tato práce před- stavuje nástroje pro analýzu historických dat a hledání statistických závislostí výsledků benchmarků s cílem vybrání takové podmnožiny a hodnocení její schopnosti detekovat změny výkonu. Architektura řešení umožňuje v klíčových bodech rozšíření o alternativní algoritmy. Funkčnost nástroje je demonstrována na dvou ukázkových scénářích.