Algorithms based on stochastic gradient descent for machine learning problems

Abstract

This thesis studies stochastic gradient-based algorithms for large-scale optimization problems arising in machine learning. Classical gradient methods become computationally expensive when applied to high-dimensional data, which motivates the use of stochastic approximations. We focus on composite optimization problems consisting of a smooth objective function and a regularization term. Several stochastic gradient methods are analyzed with respect to their convergence properties under assumptions such as convexity and Lipschitz continuity. The main contribution is a comparative analysis of different stochastic gradient estimators and their influence on convergence behavior. Numerical experiments on a real dataset evaluate the practical performance of the methods. The results highlight the trade-off between computational efficiency and accuracy, demonstrating the effectiveness of stochastic methods in large-scale applications.

Táto diplomová práca sa zaoberá stochastickými gradientovými algoritmami pre rozsiahle optimalizačné problémy vznikajúce v strojovom učení. Klasické gradientové metódy sa pri aplikácii na vysokodimenzionálne dáta stávajú výpočtovo náročnými, čo motivuje využitie stochastických aproximácií. Zameriavame sa na zložené optimalizačné úlohy pozostávajúce z hladkej účelovej funkcie a regularizačného člena. Viaceré metódy výpočtu stochastické gradientu sú analyzované z hľadiska ich konvergenčných vlastností za predpokladov, ako sú napríklad konvexita a Lipschitzovská spojitosť. Hlavným prínosom práce je komparatívna analýza rôznych odhadov stochastického gradientu a ich vplyvu na konvergenčné správanie. Numerický experiment na reálnych dátach hodnotí praktickú výkonnosť jednotlivých metód.Výsledky poukazujú na kompromis medzi výpočtovou efektívnosťou a presnosťou a demonštrujú vhodnosť stochastických metód pre rozsiahle úlohy.