Markov chain Monte Carlo methods

Abstract

The aim of this thesis is to introduce Markov chain Monte Carlo (MCMC) methods on a finite state space. In the first part, we summarize the necessary theory of Markov chains, including the concepts of stationarity and reversibility. Next, we outline the motivation for using MCMC methods. We describe the general Metropolis-Hastings algorithm and the Gibbs sampler, demonstrating that the latter is a special case of the Metropolis- Hastings algorithm. Finally, we apply the Gibbs sampler to the hard-core model problem and observe the behaviour of the algorithm through simulations.

Cílem této práce je představit metody Markov chain Monte Carlo (MCMC) na ko- nečném stavovém prostoru. V první část shrnujeme nezbytnou teorii markovských ře- tězců, včetně pojmů stacionarity a reverzibility. Dále ukazujeme motivaci pro využití MCMC metod. Obecně popisujeme Metropolisův-Hastingsův algoritmus a Gibbsův výbě- rový plán, u kterého ukazujeme, že se jedná o speciální případ Metropolisova-Hastingsova algoritmu. V praktické části aplikujeme Gibbsův plán na model s pevným jádrem a cho- vání algoritmu sledujeme pomocí provedených simulací.