Post-selection Inference: Lasso & Group Lasso

Abstract

Lasso patří mezi populární nástroje, které můžeme použít k výběru a od- hadu proměnných. Klasická statistická inference však není pro lasso odhady apli- kovatelná. V této diplomové práci jsou představeny metody lasso a group lasso společně s některými efektivními algoritmy pro její řešení. Hlavní část je věnována tzv. povýběrové inferenci pro lasso odhady, kde je také vysvětleno, proč klasická inference není vhodná. Dále jsou uvedeny a popsány tři povýběrové testy pro lasso a jeden test je navržen i pro group lasso. Vlastnosti testů jsou zkoumány a srovnány v simulacích. Testy jsou rovněž použity na praktickém příkladě. 1

The lasso is a popular tool that can be used for variable selection and esti- mation, however, classical statistical inference cannot be applied for its estimates. In this thesis the classical and the group lasso is described together with effici- ent algorithms for the solution. The key part is dedicated to the post-selection inference for the lasso estimates where we explain why the classical inference is not suitable. Three post-selection tests for the lasso are described and one test is proposed also for the group lasso. The tests are compared in simulations where finite sample properties are examined. The tests are further applied on a practical example. 1