Score-based stochastic smoothing

Abstract

This thesis develops methods for stochastic smoothing in signal and observation sys- tems with nonlinear dynamics. It builds on score-based diffusion models, first introduced in 2021, which have since become the standard approach to generative modeling of im- ages. We introduce two score estimators. The first is a direct application of modern con- ditional score-based diffusion models: a neural network trained on simulated signal and observation trajectories. The second dispenses with the neural network and estimates the score by solving an augmented filtering problem with an extended Rauch-Tung-Striebel smoother. We evaluate both variants on a suite of benchmarks that test their ability to handle strongly nonlinear dynamics and multimodal posteriors. Both match the ex- act solution given by the extended Rauch-Tung-Striebel smoother on a linear Gaussian system and substantially outperform it on most nonlinear and multimodal benchmarks.

Táto diplomová práca vyvíja metódy stochastického vyhladzovania v systémoch sig- nálu a pozorovaní s nelineárnou dynamikou. Nadväzuje na difúzne modely založené na skóre, prvýkrát predstavené v roku 2021, ktoré sa odvtedy stali štandardným prístupom ku generatívnemu modelovaniu obrázkov. Predstavujeme dva estimátory skóre. Prvý je priamou aplikáciou moderných podmienených difúznych modelov založených na skóre: neurónová sieť trénovaná na simulovaných trajektóriách signálu a pozorovaní. Druhý sa zaobíde bez neurónovej siete a odhaduje skóre riešením upravenej filtračnej úlohy pomo- cou rozšíreného Rauch-Tung-Striebelovho vyhladzovača. Obe varianty vyhodnocujeme na sade benchmarkov, ktoré testujú ich schopnosť zvládať silne nelineárnu dynamiku a multimodálne aposteriórne rozdelenia. Oba sa zhodujú s presným riešením, ktoré posky- tuje rozšírený Rauch-Tung-Striebel vyhladzovač na lineárnom gaussovskom systéme, a podstatne ho prekonávajú na väčšine nelineárnych a multimodálnych benchmarkov.