Bayesian Stacking of Predictive Distributions

Abstract

This thesis develops a structured introduction to Bayesian statistical modelling from a probabilistic foundation, including a consistent notation and derivation of core Bayesian concepts. Building on this framework, Bayesian stacking is presented as a method for combining predictive distributions from multiple models using leave-one-out predictive densities. Three weighting schemes are considered: complete pooling, no pooling, and partial pooling. The theoretical construction is complemented by simulation studies that illustrate the behaviour of stacking under different model structures, including Bernoulli and finite mixture models. The focus is on how model misspecification and covariate de- pendence in the weighting structure influence predictive performance. Overall, the thesis combines a foundational treatment of Bayesian methodology with a comparative analysis of stacking strategies, demonstrating how model diversity and structural misspecification govern the effectiveness of predictive combination.

Tato práce poskytuje strukturovaný úvod do bayesovského statistického modelování vycházejícího z teorie pravděpodobnosti, přičemž důraz je kladen na konzistní značení a odvození základních konceptů bayesovké analýzy. V rámci toho je následně předsta- veno bayesovské skládání (Bayesian stacking) jako metoda pro kombinaci prediktivních distribucí z více modelů na základě leave-one-out (LOO) prediktivních hustot. Diskuto- vány jsou tři základní režimy agregace: úplné sdílení (complete pooling), žádné sdílení (no pooling) a částečné sdílení (partial pooling). Teoretická část je doplněna simulačními studiemi, které ilustrují chování bayesovského skládání v různých modelových struktu- rách, zejména v Bernoulliho modelech a modelech konečných směsí. Zvláštní pozornost je věnována vlivu nesprávné specifikace modelu a případné závislosti vah skládání na ne- závislých proměnných. Celkově práce propojuje základní výklad bayesovské metodologie s komparativní analýzou různých metod bayesovského skládání a ukazuje, že účinnost prediktivní kombinace je primárně určována diverzitou modelů.