Locally Connected Echo State Networks for Time Series Forecasting

Abstract

Echo State Networks (ESNs) are a class of recurrent neural networks in which only a small readout regression layer is trained, while the weights of the recurrent network, termed the reservoir, are randomly assigned and remain fixed. Although ESNs have shown potential in time series forecasting (TSF), they often fail to match state-of-the- art deep learning approaches on real-world benchmarks. In this thesis, we introduce Locally Connected ESN (LCESN), a novel ESN variant improving scalability, stability, and accuracy in TSF tasks. Its local topology significantly reduces asymptotic time and space complexities compared to the conventional ESN, enabling substantially larger networks. The forced memory mechanism enhances their ability to capture long-range dependencies without destabilizing network dynamics. Another key contribution is a novel hyperparameter tuning method, critical for the sensitive dynamic system inherent to ESNs. This thesis is structured as a commented collection of three original research papers, each providing new insights into recurrent neural networks for TSF. Our re- sults demonstrate that well-tuned LCESNs outperform conventional ESNs and achieve competitive accuracy with state-of-the-art models. These findings reaffirm the relevance of recurrent architectures in modern TSF research,...

Echo state sítě (ESN) jsou třída rekurentních neuronových sítí, v nichž se trénuje pouze malá regresní výstupní vrstva, zatímco váhy samotného rekurentního jádra, tzv. rezervoáru, jsou náhodně inicializovány a zůstávají fixní. Přestože se ESN osvědčily při předpovídání časových řad, v reálných benchmarcích často nedosahují přesnosti nejmo- dernějších hlubokých modelů. V této práci představujeme lokálně spojené ESN (LCESN), novou variantu ESN, která zlepšuje škálovatelnost, stabilitu i přesnost v úlohách predikce časových řad. Její lokální topologie významně snižuje asymptotickou časovou i paměťo- vou složitost oproti klasickým ESN a umožňuje použití podstatně větších sítí. Mechanis- mus "vnucené paměti" dále posiluje schopnost zachycovat dlouhodobé závislosti, aniž by destabilizoval dynamiku sítě. Dalším klíčovým přínosem je nová metoda ladění hyperpa- rametrů, nezbytná pro citlivý dynamický systém, jakým je ESN. Dizertace je strukturována jako komentovaný soubor tří původních vědeckých článků, z nichž každý přináší nové poznatky o rekurentních sítích pro predikci časových řad. Naše výsledky ukazují, že dobře nakonfigurované LCESN překonávají konvenční ESN a dosahují srovnatelné přesnosti se špičkovými modely. Tato zjištění potvrzují, že rekurentní architektury mají i v moderním výzkumu časových řad své...