Explainable Image Processing

Abstract

Modern deep learning models for image processing achieve high accuracy on most common tasks, but often at the cost of interpretability, which is a growing concern as these models are increasingly deployed in high-stakes domains. This thesis provides an overview of modern computer vision architectures and the prominent Explainable Arti- ficial Intelligence (XAI) paradigms used to interpret their predictions. It then critically analyzes the Visual Reasoning Explanation (VRX) framework, identifies several software engineering issues that limit its practical use, and addresses them through fixes that greatly reduce its peak resource usage. Furthermore, it proposes two methodological im- provements: UMAP+HDBSCAN concept clustering and a magnitude-aware variant of the TCAV score, which together remove the framework's reliance on Grad-CAM filter- ing and simplify its application to non-convolutional architectures. Empirical evaluation on multiple ImageNet subsets shows that the improved pipeline matches or outperforms the original VRX pipeline on every quality metric and successfully generalizes to Vision Transformer, ConvNeXt, and ResNet architectures.

Moderní modely hlubokého učení pro zpracování obrazu dosahují vysoké přesnosti na většině běžných úloh, avšak často za cenu interpretovatelnosti. To představuje rostoucí problém, jelikož jsou tyto modely stále častěji nasazovány v kriticky důležitých oblastech. Tato práce nabízí přehled moderních architektur počítačového vidění a hlavních přístupů v oblasti vysvětlitelné umělé inteligence (XAI), které se využívají k interpretaci jejich pre- dikcí. Následně práce kriticky analyzuje framework Visual Reasoning Explanation (VRX), identifikuje několik softwarově-inženýrských problémů, které omezují jeho praktické vyu- žití, a navrhuje řešení, jež výrazně snižují jeho maximální spotřebu výpočetních zdrojů. Kromě toho představuje dvě metodologická vylepšení: shlukování konceptů pomocí me- tod UMAP a HDBSCAN a variantu TCAV skóre zohledňující magnitudu gradientů. Tato vylepšení společně odstraňují závislost frameworku na filtrování pomocí metody Grad- CAM a zjednodušují jeho aplikaci na nekonvoluční architektury. Empirické vyhodnocení na několika podmnožinách datasetu ImageNet ukazuje, že vylepšená pipeline dosahuje stejných nebo lepších výsledků než původní framework VRX ve všech metrikách kva- lity a úspěšně generalizuje na různé architektury počítačového vidění, jako jsou Vision Transformer, ConvNeXt a ResNet.