Robust linear regression

Abstract

Regresná analýza je jedným z najrozšírenejšie používaných štatistických nástrojov ap- likovaných v rôznych vedeckých odboroch, pričom jej najznámejšou metódou je lineárna regresia. Tradičný postup na získanie odhadov lineárneho modelu, metóda najmenších štvorcov, je však veľmi citlivý na čo i len nepatrné odchýlky od uvažovaného modelu, čo je obzvlášť výrazné v prípade, kedy sa medzi pozorovanými údajmi vyskytujú atypické hodnoty. Tento nedostatok stability metódy najmenších štvorcov spôsobuje vážne prob- lémy v praktických aplikáciách. Ťažisko tejto práce teda spočíva v analýze dostupných robustných alternatív k odhadu metódou najmenších štvorcov, ktoré nie sú tak ľahko ovplyvniteľné odľahlými pozorovaniami. Na začiatku zavedieme teóriu lineárneho regres- ného modelu a odvodíme metódu najmenších štvorcov. Následne charakterizujeme rôzne typy neobvyklých pozorovaní a predstavíme niekoľko základných mier robustnosti. Ďalej zadefinujeme robustné alternatívy ku klasickému odhadu v lineárnych regresných mode- loch a na záver vykonáme komplexnú simulačnú štúdiu porovnávajúcu robustné regresné metódy v rôznych simulačných scenároch. 1

Regression analysis is one of the most extensively used statistical tools applied across different fields of science, with linear regression being its most well-known method. How- ever, the traditional procedure to obtain the linear model estimates, the least squares approach, is highly sensitive to even slight departures from the assumed modelling frame- work. This is especially pronounced when atypical values occur in the observed data. This lack of stability of the least squares approach is a serious problem in applications. Thus, the focus of this thesis lies in assessing the available robust alternatives to least squares estimation, which are not so easily affected by any outlying values. First, we introduce the linear regression model theory and derive the least squares method. Then, we char- acterise different types of unusual observations and outline some fundamental robustness measures. Next, we define and examine the robust alternatives to the classical estimation in the linear regression models. Finally, we conduct a comprehensive simulation study comparing the performance of robust methods under different scenarios. 1