Safe and Secure High-Risk AI: Evaluation of Robustness

Abstract

The aim of the thesis is to examine Invariant Risk Minimization (IRM) as an existing method for achieving model robustness and assess whether it could potentially serve as means for conformity assessment in the emerging legislative framework of the European Artificial Intelligence Act. Research shows that many cases of erroneous performance in AI systems are caused by machine learning models lacking robustness to changes in data distributions and thus being unable to properly generalize to new environments. In order to achieve reliable performance, the models must exhibit a certain level of robustness to these changes. IRM is a relatively new method designed to achieve such outcomes. This is very much in alignment to the objectives of the EU AI Act that aims for trustworthy AI. The thesis thus examines the congruence of the IRM method and the requirements in the EU AI Act and asks whether IRM can serve as a universal method for ensuring safe and secure AI compliant with European legal requirements through the analysis of existing empirical and theoretical results.

Cílem této magisterské diplomové práce je zkoumat metodu IRM, která se používá pro zajištění robustnosti v modelech strojového učení, a zhodnotit, zda tato metoda může případně sloužit pro účely nově se vyvíjející evropské legislativy upravující využití umělé inteligence. Výzkum ukazuje, že mnoho případů pochybení autonomních systémů má na svědomí nedostatečná robustnost těchto systémů vůči změnám ve zpracovávaných datech. Z tohoto důvodu nejsou tyto systémy pak schopné správně zobecňovat v nových prostředích. Aby byly modely schopny dosáhnout uspokojivých výsledků, musí dosahovat určité úrovně robustnosti. Metoda IRM vznikla relativně nedávno pro účely zajištění robustnosti a tedy i spolehlivosti AI systémů. Stejný cíl si klade i nově vznikající evropská legislativa, která usiluje o spolehlivé AI. Diplomová práce zkoumá kompatibilitu požadavků AI Aktu a IRM metody a klade si otázku, zda je možné metodu IRM univerzálně využívat pro zajištění bezpečného AI skrze analýzu existujících empirických i teoretických poznatků.