Deep Neural Networks for Time Series Forecasting

Abstract

Time series forecasting is a task of both academic and pragmatic interest. Although it has been long dominated by qualitative methods and simple quan- titative methods, machine learning and deep learning algorithms in modelling temporal data has become more common, but the progress is still far from the progress in typical machine learning tasks like computer vision or natural lan- guage processing. Recurrent neural networks are the most natural choice for modelling sequential data, but training them is tricky especially to learn from long sequences. Recently a divergence from back propagation Reservoir Comput- ing paradigm has started to draw attention with the performance of the models arising from it in this kind of tasks. They proved to be a good option partic- ularly for modelling rather more chaotic systems. In this thesis we will explore and compare these two families of neural networks regarding their performance and implementation. 1

Předpovı́dánı́ časových řad je úloha, která má jak akademické tak prak- tické využitı́. Přestože byla po dlouhou dobu řešena předevšı́m kvalitativnı́mi metodami a jednoduchými kvantitativnı́mi modely, strojové učenı́ a algoritmy hlubokého učenı́ se použı́vajı́ v modelovánı́ temporálnı́ch dat stále častěji. Je- jich výsledky ale stále zaostávajı́ za jejich výsledky v tradičnějšı́ch oblastech jako např. počı́tačové viděnı́ a zpracovánı́ přirozeného jazyka. Rekurentnı́ neu- ronové sı́tě jsou nejpřirozenějšı́m modelem pro modelovánı́ sekvenčnı́ch dat, ale jejich trénovánı́ může být složité, předevšı́m pro dlouhé posloupnosti. V poslednı́ době mı́sto metod založených na algoritmu zpětného šı́řenı́ přitahujı́ dı́ky svým výsledkům pozornost metody založené na principu tzv. reservoir computing. Ukazuje se, že jsou vhodné předevšı́m pro modelovánı́ chaotických systémů. V této práci prozkoumáme tyto dvě rodiny modelůneuronových sı́tı́z hlediska jejich výsledků a implementace. 1