Effect of regularization on classification of magnetic topological phases

Abstract

In this thesis, we study the implementation of neural networks for classi- fication of simulated magnetic configurations into 3 topological phases: fer- romagnet, magnetic skyrmion, and magnetic spiral. The main challenge lies in the continuous phase transitions, where two phases can occur in the same configuration. Even though we do not have true labels for such configu- rations, we aim to improve the models' performance exactly in such cases. To achieve that, we explore different model architectures, including dense and convolutional networks, the choice of hyperparameters, including ac- tivation functions, and the effect of various regularization techniques such as Dropout Monte Carlo, or data augmentations. We found that simple and shallow convolution networks work best. We can reliably classify the single-phase configurations while performing better on the phase transitions, compared to the deeper networks. The CutMix data augmentation improves performance on the skyrmion-spiral transition by about 60% according to our defined metric, compared to the results without augmentations. At the same time, CutMixes harm the performance on the ferromagnetic-skyrmion boundary. MixUp provides small but complementary gains. By correctly applying these augmentations, the model learns to predict the probability of a...

V této práci se zabýváme implementací neuronových sítí pro klasifikaci si- mulovaných magnetických konfigurací do tří topologických fází: feromagnet, magnetický skyrmion a magnetická spirála. Hlavní výzva spočívá ve spojitých fázových přechodech, což znamená, že se ve stejné konfiguraci mohou vysky- tovat dvě fáze. Přestože pro takové konfigurace nemáme k dispozici lable, snažíme se zlepšit predikce modelů právě v takových případech. Abychom toho dosáhli, zkoumáme různé architektury modelů, včetně plně propoje- ných a konvolučních sítí, volbu hyperparametrů, včetně aktivačních funkcí, a vliv různých regularizačních technik, jako je Dropout Monte Carlo nebo aug- mentace dat. Zjistili jsme, že nejlépe fungují jednoduché, mělké konvoluční sítě. Dokážou spolehlivě klasifikovat jednofázové konfigurace a zároveň si ve- dou lépe než hlubší sítě při fázových přechodech. Augmentace dat CutMix zlepšuje výkon na skyrmionově spirálním přechodu podle námi definované metriky přibližně o 60% ve srovnání s výsledky bez augmentací. CutMixy zároveň poškozují predikce na hranici feromagnetu a skyrmionu. MixUp po- skytuje malé, ale doplňkové zlepšení. Použitím těchto augmentací se model naučí předpovídat pravděpodobnost skyrmionové fáze při fázovém přechodu do spirály způsobem, který je v souladu se změnou topologického náboje...