Balancing Keyword-Based Data and Queries in Distributed Storage Systems

Abstract

Výzkum v oblasti distribuovaných systémů dosud neodhalil optimální způsob vy- važování zátěže. Existující přístupy pracují primárně s replikací a horizontálním dělením dat. Tato práce shrnuje současný stav zkoumání v této oblasti, se zaměřením na horizon- tální dělení dat, a obsahuje experiment, který porovnává moderní vyvažovací algoritmus Weighted-Move s náhodným a také s existujícím doménově-specifickým přístupem. Výz- namnou součástí práce je univerzální a škálovatelná implementace pro vyvažování zátěže v jakémkoli distribuovaném systému a její nasazení do skutečného systému Sklik pro výdej internetové inzerce. Hlavní výzvy řešení byly spojeny s různými problémy, které se týkaly konzistence dat, výkonu a synchronizace, a také s nutností udržet kompatibilitu implementace se zbytkem neustále vyvíjeného systému Sklik. Námi provedený experi- ment ukazuje, že zmíněný doménově specifický přístup k vyvažování zátěže umí data distribuovat tak, že systém dosahuje největšího výkonu ze všech porovnávaných vari- ant. Nicméně z výsledků algoritmu Weighted-Move je možné vidět jeho velký potenciál, přičemž očekáváme, že další práce na naší implementaci by tyto výsledky mohla ještě vylepšit. 1

Research in the area of load balancing in distributed systems has not yet come with an optimal load balancing technique. Existing approaches work primarily with replication and sharding. This thesis overviews existing knowledge in this area with focus on shard- ing, and provides an experiment comparing a state-of-the-art load balancing technique called Weighed-Move with a random baseline and an existing domain-specific balancing implementation. As a significant part of the project, we engineered a generic and scal- able load balancer that may be used in any distributed system and deployed it into an existing ad system called Sklik. The major challenges appeared to be tackling various problems related to data consistency, performance and synchronization, together with solving compatibility issues with the rest of the still-evolving ad system. Our experiment shows that the domain-specific load balancing implementation produces data distribution that enables better performance, but Weighed-Move proved to have a great potential and its results are expected to be enhanced by further work on our implementation. 1