Surrogate Models in Neural Architecture Search

Abstract

This thesis advances neural architecture search (NAS), a subfield of AutoML aiming to discover optimal neural network architectures. We focus on performance predictors - surrogate models that estimate performance without full training, enabling reduction of the search costs of NAS. We first propose info-NAS, a semi-supervised graph neural network surrogate, and extend GNN-based predictors to genetic programming. Next, we uncover a key bias in popular zero-cost proxies and introduce GRAF, a set of interpretable graph features that, combined with zero-cost scores, achieves state-of-the-art correlation with performance. Finally, we present the first surrogates for the expressive grammar- based search space einspace, adapting GRAF-based predictors and introducing language model surrogates. We demonstrate their transferability and effectiveness in reducing search costs. Together, these contributions enhance the efficiency, interpretability, and practical usability of NAS performance predictors.

Tato práce přináší nové poznatky v oblasti hledání neuronových architektur (neural architecture search, NAS), což je podoblast AutoML zaměřená na objevování optimálních struktur neuronových sítí. Hlavní pozornost věnujeme prediktorům výkonu - náhradním modelům, které dokážou odhadnout výkon sítě bez nutnosti jejího plného trénování, a tím výrazně snižují náklady na hledání. Nejprve představujeme info-NAS, semi-supervised prediktor založený na grafových neuronových sítích (GNN), a aplikujeme GNN přístupy v genetickém programování. Dále odhalujeme důležitý bias v zero-cost proxies a navrhu- jeme GRAF - soubor interpretovatelných grafových vlastností, které ve spojení s zero- cost proxies dosahují vysoké korelace s reálným výkonem. Nakonec představujeme první prediktory pro expresivní vyhledávací prostor einspace definovaný pomocí gramatik - roz- šířenou variantu GRAFu a modely založené na jazykových modelech. Ukazujeme, že tyto přístupy jsou také transferabilní a snižují náklady na hledání. Společně naše práce zvyšuje efektivitu, interpretovatelnost a praktickou použitelnost prediktorů výkonu v NAS.