Maximizing Computational Power by Neuroevolution

Abstract

Echo state networks jsou speciálním typem rekurentních neuronových sítí. Nedávný výzkum ukázal, že výkon echo state networks je nejvyšší na přechodu mezi uspořádaným a chaotickým režimem, takzvané hranici chaosu. Tato práce potvrzuje tento jev pomocí rozsáhlých experimentů. Dále je nejlepší echo state network porovnána se sítí vyvinutou pomocí neuroevoluce. Vyvinutá síť má vyšší výkon než nejlepší echo state network, ovšem evoluce vyžaduje značný výpočetní výkon. Kombinací toho nejlepšího z obou modelů, jednoduchostí echo state networks a výkonu vyvinutých sítí, byl navržen nový model zvaný locally connected echo state networks. Výsledky práce mohou mít vliv na budoucí návrhy echo state networks a na efektivitu jejich implementace. Výsledky mohou navíc pomoci lepšímu pochopení toho, jak funguje mozková tkáň. 1

Echo state networks represent a special type of recurrent neural networks. Recent papers stated that the echo state networks maximize their computational performance on the transition between order and chaos, the so-called edge of chaos. This work confirms this statement in a comprehensive set of experiments. Afterwards, the best performing echo state network is compared to a network evolved via neuroevolution. The evolved network outperforms the best echo state network, however, the evolution consumes significant computational resources. By combining the best of both worlds, the simplicity of echo state networks and the performance of evolved networks, a new model called locally connected echo state networks is proposed. The results of this thesis may have an impact on future designs of echo state networks and efficiency of their implementation. Furthermore, the findings may improve the understanding of biological brain tissue. 1