Řídká řešení v optimalizačních úlohách klasifikace

Abstract

The main goal of this work is to give self-contained description of proximal and ordi- nary stochastic subgradient descent methods, which are used in finding sparse solutions of labeling optimization problems. We will define and interpret necessary concepts lea- ding to the definition of those methods and we will discuss in detail conditions, under which we show convergence of these methods to critical point. At the end, we will pre- sent a numerical experiment on concrete optimization task where we demonstrate use of these methods. In this experiment we will also show how a suitable choice of so called regularization can influence sparsity of solution of this particular task. 1

Hlavním cílem této práce je podat ucelený popis metod proximálního a obyčejného stochastického subgradientového sestupu, které se používají při hledání řídkých řešení v optimalizačních úlohách klasifikace. Zavedeme a interpretujeme pojmy vedoucí k definici těchto metod a podrobně diskutujeme předpoklady, za nichž dokážeme jejich konvergenci ke kritickému bodu. Na závěr v numerické ukázce na konkrétní úloze demonstrujeme, jak jsme za pomoci těchto metod a vhodné volby tzv. regularizace ovlivnili řídkost řešení této úlohy. 1