Optimalizační metody prvního řádu v úlohách strojového učení
First order optimization methods in machine learning problems
bachelor thesis (DEFENDED)

View/ Open
Permanent link
http://hdl.handle.net/20.500.11956/119762Identifiers
Study Information System: 216382
Collections
- Kvalifikační práce [11266]
Author
Advisor
Referee
Kozmík, Karel
Faculty / Institute
Faculty of Mathematics and Physics
Discipline
General Mathematics
Department
Department of Probability and Mathematical Statistics
Date of defense
14. 7. 2020
Publisher
Univerzita Karlova, Matematicko-fyzikální fakultaLanguage
Czech
Grade
Very good
Keywords (Czech)
Stochastický gradient, strojové učení, optimalizaceKeywords (English)
Stochastic gradient, machine learning, optimizationCílem práce je představit metodu stochastického gradientu pro optimalizaci diferenco- vatelné účelové funkce a diskutovat její konvergenci. Nejprve je formulována úloha učení s učitelem a princip minimalizace empirického rizika (ERM). Následuje představení sto- chastického gradientu (SG) a jeho analýza, nejprve v případě silně konvexní účelové funkce a následně pro obecnou nekonvexní funkci. V poslední části je prakticky vyřešena klasi- fikace emailového spamu. 1
The goal of the thesis is to introduce the stochastic gradient method for optimizing differentiable objective function and discuss its convergence. First, supervised learning and empirical risk minimization (ERM) are explained. Then stochastic gradient descent (SG) is itroduced and analysed, first in the context of strictly convex objective function and then for the general non-convex function. In the last part, the classification of email spam is practically solved. 1