Covariance estimation for filtering in high dimension

Abstract

Problém odhadu vysokodimenzionální varianční matice na základě malého výběru se objevuje v mnoha oblastech, mimo jiné v prostorové statistice a datové asimilaci. V této práci se zabýváme metodami odhadu varianční matice prostřednictvím její regularizace a kovariančních modelů, které jsou využitelné ve filtračních algoritmech. Kromě odvo- zení několika teoretických vlastností zvolených odhadů je na základě lineárního modelu pro inverzi varianční matice navržen též nový filtrační algoritmus. Po krátkém shrnutí základních odhadovacích technik používaných v datové asimilaci se práce zabývá kova- riančními modely. Pro vnořené parametrické modely, které jsme následně aplikovali na varianční matici ve spektrálním prostoru, jsme ukázali určitý typ hierarchické struktury: asymptotický rozptyl maximálně věrohodného odhadu parametru se nemůže zvětšit, po- kud se při maximalizaci omezíme na parametrický podprostor obsahující skutečnou hod- notu parametru. Podobný výsledek jsme získali také pro obecné M-odhady. U složitějších kovariančních modelů již metoda maximální věrohodnosti neposkytuje explicitní tvar od- hadu, ale maximalizaci je nutné provést numericky. V případě lineárního modelu pro inverzi varianční matice (tzv. matici přesností) lze však odvodit konzistentní odhad v ex- plicitním tvaru pomocí metody score...

Estimating large covariance matrices from small samples is an important problem in many fields. Among others, this includes spatial statistics and data assimilation. In this thesis, we deal with several methods of covariance estimation with emphasis on regula- rization and covariance models useful in filtering problems. We prove several properties of estimators and propose a new filtering method. After a brief summary of basic esti- mating methods used in data assimilation, the attention is shifted to covariance models. We show a distinct type of hierarchy in nested models applied to the spectral diagonal covariance matrix: explicit estimators of parameters are computed by the maximum like- lihood method and asymptotic variance of these estimators is shown to decrease when the maximization is restricted to a subspace that contains the true parameter value. A similar result is obtained for general M-estimators. For more complex covariance mo- dels, maximum likelihood method cannot provide explicit parameter estimates. In the case of a linear model for a precision matrix, however, consistent estimator in a closed form can be computed by the score matching method. Modelling of the precision ma- trix is particularly beneficial in Gaussian Markov random fields (GMRF), which possess a sparse precision matrix. The...