Asynchronous Duet Benchmarking

Abstract

Přesná detekce zpomalení benchmarků v nestabilních prostředích, jako je veřejný cloud, je obtížná. Cloud nabízí dostupnou a škálovatelnou in- frastrukturu pro spouštění benchmarků, ale tradiční metody benchmarkingu často nezvládají spolehlivě rozpoznat zpomalení. Metoda duetového měření s variabilitou počítá a s předpokladem podobných vnějších vlivů spouští bench- marky paralelně. Tato práce zkoumá variantu metody duet, která nevyžaduje synchronizaci iterací, což zjednodušuje nasazení do praxe. Metoda asyn- chronního duetu dokáže detekovat zpomalení v rozsahu 1−5% u většiny testo- vaných benchmarků v nestabilních prostředích a zároveň snižuje celkové nák- lady až o 50%. Měření byla získána nástrojem pro automatizované spouštění a zpracování benchmarků z více sad. Nástroj je postaven nad kontejnery pro lepší přenositelnost. Může pak spouštět jak obvyklou sekvenční metodu, původní duetové měření tak i rozšíření pro nesynchronizované běhy. 1

Accurate regression detection in volatile environments such as the pub- lic cloud is difficult. Cloud offers an accessible and scalable infrastructure to run benchmarks, but the traditional benchmarking methods often fail to predict regressions reliably. Duet method acknowledges the variability and runs the workloads in parallel, assuming similar outside impact symmetry. This thesis examines a duet variant that does not synchronize harness iter- ations which enables broader use of this method. The asynchronous duet method can detect 1 − 5% slowdowns for most of the tested benchmarks in volatile environments while reducing the overall costs by up to 50%. Mea- surements were obtained by a benchmark automation tool for running and processing benchmarks from multiple suites. This tool can run benchmarks with sequential and both duet methods utilizing containers for portability. 1