Applications of least squares

Abstract

Tématem této práce je metoda nejmenších čtverců a její aplikace. Vyložíme základní matematickou teorii, která je nutná k pochopení metody nejmenších čtverců a ukážeme, že problém nejmenších čtverců je možné řešit pomocí příslušného systému normálních rovnic užitím QR rozkladu, Choleského rozkladu či SVD rozkladu matic. Dále potom ukážeme, jakým způsobem se dá metoda nejmenších čtverců použít pro řešení problému aproximace funkcí a problému klasifikace dat. Teorii, kterou se tato práce zabývá, jsme experimentálně ověřili při implementaci algoritmu pro rozpoznávání ručně psaných čísel. Mimo tuto aplikaci ukážeme také dva další praktické příklady užití metody nejmenších čtverců. První z nich se týká problému hledání řešení soustavy rovnic, které má nejmenší normu ze všech možných řešení. Ve druhém příkladu vysvětlíme, jakým způsobem může být metoda nejmenších čtverců použita ve statistickém odhadu parametrů.

In this work we analyze the method of least squares. We explain the basic mathematical theory that is crucial for understanding the method of least squares and show how the least squares problem can be solved via the system of normal equations using the QR-decomposition, Cholesky- decomposition or SVD of some matrix. We also show how the method of least squares can be used to solve the problem of data fitting and data classification. We have experimentally verified the theory covered in this thesis by implementing algorithm for recognizing handwritten digits. Apart from the handwritten digits recognition problem we show two more practical examples of the application of least squares. The first one relates to finding a solution to the least norm problem. In the second example we use the method of least squares to estimate the parameters of a linear measurement model.