Bayesovská optimalizácia

Abstract

Optimalizácia je veľmi dôležitou súčasťou matematiky často využívanou v praxi. Existuje mnoho metód, ktoré dokážu riešiť špecifické typy účelo- vých funkcií. Akú metódu použiť ak je funkcia neznáma a/alebo výpočtovo náročná? Jednou z odpovedí je bayesovská optimalizácia, ktorá namiesto priamej optimalizácie vytvorí pravdepodobnostný model účelovej funkcie a využije ho na zostrojenie ľahko optimalizovateľnej pomocnej funkcie. Ide o iteračný prístup, ktorý s využitím informácií z predchádzajúcich krokov nájde nový bod pre výpočet účelovej funkcie a snaží sa priblížiť optimu pri čo najmenej iteráciách. V tejto práci predstavíme bayesovskú optimalizáciu, zosumarizujeme jej rôzne prístupy v nízkych aj vysokých dimenziách a uká- žeme kedy je vhodné ju použiť. Dôležitou súčasťou práce je vlastný algorit- mus, ktorý aplikujeme na rôzne praktické problémy - napr. na optimalizáciu parametrov metód strojového učenia. 1

Optimization is an important part of mathematics and is mostly used for practical applications. For specific types of objective functions, a lot of different methods exist. A method to use when the objective is unknown and/or expensive can be difficult to determine. One of the answers is bayesian optimization, which instead of direct optimization creates a probabilistic model and uses it to constructs easily optimizable auxiliary function. It is an iterative method that uses information from previous iterations to find new point in which the objective is evaluated and tries to find the optimum within a fewer iterations. This thesis introduces bayesian optimization, suma- rizes its different approaches in lower and higher dimensions and shows when to use it suitably. An important part of the thesis is my own optimization algorithm which is applied to different practical problems - e.g. parameter optimization in machine learning algorithm. 1