Reduced communication algoritms: theory and practice

Abstract

Vývoj v paralelním výpočetním prostředí v posledním desetiletí přichází s otázkou, jak tato prostředí používat při řešení velkých algebraických systémů. V této práci se zaměřujeme na Krylovovské metody (konkrétně na metodu konjugovaných gradientů), jako jeden z nejsilnějších nástrojů, a možností jejich paralelizace. Zaobíráme se Krylovovskými metodami vyhýbajícími se komunikaci mezi jednotlivými jádry a různým problémům, které toto přináší, např. ztrátou ortogonality nebo zpožděním konvergence. Krylovovské metody se obvykle používají společně s předpodmíněním, proto je část této práce věnována předpodmiňování v paralelních výpočetních prostředích.

Development in the parallel computing environment in the last decade comes with the need of being able to use these in solving large algebraic systems. In this thesis, we focus on the Krylov subspace methods (namely the conjugate gradient method) as one of the most powerful tools and the possibilities of their parallelization. We discuss the communication avoiding Krylov subspace methods and various problems introduced by the parallelization e.g. loss of orthogonality or delay of convergence. Application of the Krylov subspace methods comes usually with some preconditioner, therefore part of this thesis is dedicated to the preconditioning in parallel computing environments.