Subgradientní algoritmus pro konvexní optimalizační úlohy se stochastickým rozšířením

Abstract

Cílem práce bylo popsat a analyzovat subgradientní algoritmus pro konvexní optimali- zační úlohy a jeho stochastické rozšíření s náhodným výběrem subgradientů. V první části jsou představeny gradientní metody s exaktním line search pro hladké konvexní funkce. Druhá kapitola rozšiřuje tyto přístupy o subgradientní algoritmy pro nediferencovatelné konvexní účelové funkce a obsahuje důkazy jejich konvergence pro konstantní i klesající volbu kroků. Třetí část formuluje stochastickou verzi metody a využívá supermartingá- lovou analýzu k důkazu konvergence skoro jistě k jedinému optimu. Numerické příklady ilustrují průběhy gradientního i subgradientního algoritmu.

The aim of this thesis was to depict and analyze a subgradient algorithm for convex optimization problems and its stochastic extension with random subgradient sampling. The first part introduces gradient methods with exact line search for smooth convex functions. The second chapter extends these approaches to subgradient algorithms for nondifferentiable convex objective functions and includes proofs of convergence for both constant and diminishing step-size rules. The third part formulates the method's stochas- tic version and employs supermartingale analysis to prove almost sure convergence to the unique optimum. Numerical examples illustrate the trajectories of both the gradient and subgradient algorithms.