Performative Prediction for Linear Least Squares

Abstract

The thesis studies repeated least-squares retraining under performative effects, that is, in situations where the deployed model itself influences the data distribution on which it is later retrained. It shows why the squared error loss generally does not satisfy the global smoothness and strong convexity assumptions used in the standard literature on performative prediction, and instead relies on the explicit structure of second moments in linear regression. The thesis first derives sufficient conditions under which the repeated population least-squares procedure is a contraction and converges linearly to a unique performatively stable point. It then introduces, at the finite-sample level, the repeated ordinary least squares (ROLS) procedure and proves that, under uniform sub-Gaussian assumptions, its trajectory follows the corresponding population trajectory with high pro- bability. Finally, an illustrative numerical study is conducted on a synthetic performative linear model. 1

Práce se zabývá opakovaným učením pomocí metody nejmenších čtverců v prostředí s performativními efekty, tedy v situacích, kdy nasazený model sám ovlivňuje rozdě- lení dat, na nichž je později znovu trénován. Ukazuje, proč kvadratická ztrátová funkce obecně nesplňuje globální předpoklady hladkosti a silné konvexity ze standardní litera- tury k performativní predikci, a namísto toho se opírá o explicitní strukturu druhých momentů v lineární regresi. Práce nejprve odvozuje postačující podmínky, za nichž je populační metoda založená na opakovaných nejmenších čtvercích kontrakcí a lineárně konverguje k jedinému performativně stabilnímu bodu. Následně na empirické úrovni zavádí opakovanou metodu nejmenších čtverců (ROLS) a dokazuje, že její trajektorie za rovnoměrných subgaussovských předpokladů s vysokou pravděpodobností sleduje od- povídající populační trajektorii. Nakonec je provedena ilustrativní numerická studie na syntetickém performativním lineárním modelu. 1