Scenario-Driven Benchmarking of Serverless Applications

Abstract

Meaningful performance evaluation of serverless applications requires benchmarks that reflect realistic usage patterns rather than isolated micro-level measurements. This thesis focuses on the construction of high-level workload scenarios that capture how serverless applications are used in practice. The main goal is to support the derivation of such scenarios from application-level speci- fications, such as OpenAPI descriptions, combined with a structured representation of usage behavior. These scenarios are intended to model different execution phases (e.g., cold start and steady state) and to provide a richer basis for performance analysis. The thesis will apply this approach within an existing serverless benchmarking frame- work and analyze the resulting measurements. Expected outcomes include comparative in- sights across different serverless frameworks and runtime configurations, as well as an assess- ment of how scenario-based benchmarking improves decision-making compared to traditional microbenchmark-style load testing.

Smysluplné vyhodnocování výkonu serverless aplikací vyžaduje benchmarky, které odrážejí realistické způsoby používání, nikoli pouze izolovaná měření na mikroúrovni. Tato práce se zaměřuje na konstrukci vysokoúrovňových zátěžových scénářů, které zachycují, jak jsou serverless aplikace používány v praxi. Hlavním cílem je podpořit odvozování takových scénářů ze specifikací na úrovni ap- likace, například z popisů OpenAPI, v kombinaci se strukturovanou reprezentací uživatel- ského chování. Tyto scénáře mají modelovat různé fáze běhu, například studený start a ustálený stav, a poskytnout bohatší základ pro analýzu výkonu. Práce aplikuje tento přístup v rámci existujícího frameworku pro benchmarkování server- less aplikací a analyzuje výsledná měření. Očekávané výstupy zahrnují srovnávací poznatky napříč různými serverless frameworky a konfiguracemi runtime prostředí a také posouzení toho, jak scénářově založené benchmarkování zlepšuje rozhodování ve srovnání s tradičním zátěžovým testováním ve stylu mikrobenchmarků.