Linear and Non-Linear Models for Signal Prediction

[ article, synopsis, presentation, source codes ]

Abstract: The focus of this dissertation thesis has been to find suitable prediction models comparing results of different methods. These methods have been represented by polynomial model, autoregressive model, linear neural network, adaptive linear element, feed-forward neural network, the Elman neural network and a recurrent neural network with a real time recurrent learning algorithm. These models have been modified by a selection of a suitable set and order of parameters by SVD and QRcp algorithms. The created algorithms have been then applied for processing of real data representing gas consumption in the Czech Republic with a focus on the data collected during the winter season. The main part of the work has been devoted to a description of the modifications made to the models, calculation conditions and comparison of all the models mentioned above. All calculations have been done with the usage of MATLAB Distributed Computing Toolbox in a cluster of several computers.

Keywords: polynomial model, autoregressive linear model, subset autoregressive model, full autoregressive model, adaptive linear element, artificial neural network, linear neural network, feed forward neural network, recurrent neural network, Elman neural network, Levenberg-Marquardt backpropagation, real time recurrent learning, singular value decomposition, in5%, information criteria, multicriteria decision, spectral analysis, prediction, gas consumption, daily temperature, distributed computing

Abstrakt: Zaměřením této disertační práce bylo nalézt vhodný predikční model porovnáním výsledků různých metod. Tyto metody reprezentoval polynomiální model, autoregresní model, lineární neuronová síť, adaptivní lineární element, dopředná neuronová síť, Elmanova neuronová síť a rekurentní neuronová síť s "real time recurrent learning" algoritmem. Modely byly modifikovány pomocí SVD a QRcp algoritmu výběrem vhodné množiny a pořadí parametrů. Navržené algoritmy byly aplikovány na data spotřeby plynu v České republice se zaměřením na zimní období. Hlavní část práce byla věnována popisu modifikovaných modelů, výpočetním podmínkám a porovnání shora uvedených modelů. Všechny výpočty byly provedeny s využitím knihovny výpočetního systému MATLAB zaměřené na distribuované počítání v klastru několika počítačů.

Klíčová slova: polynomiální model, autoregresní lineární model, zkrácený autoregresní model, plný autoregresní model, adaptivní lineární element, umělá neuronová síť, lineární neuronová síť, dopředná neuronová síť, rekurentní neuronová síť, Elmanova neuronová síť, Levenberg-Marquardtova metoda, "real time recurrent learning", "singular value decomposition", "in5%, informační kritéria, vícekriteriální rozhodování, spectrální analýza, predikce, spotřeba plynu, denní teplota, distribuované počítání

Application of Autoregressive Models and Artificial Neural Networks in Time Series Prediction

[ article, presentation, MATLAB web application ]

Abstract: The focus of this diploma thesis is on the mutual comparison of properties of different prediction methods, based on autoregressive modelling and linear, feed forward and recurrent neural network. All these models have been used in the adaptive and in the classical prediction approach. The algorithms of SVD and QRcp have been used to find the subset of the full autoregressive model. The same full set has been then used for three different types of neural networks. Many types of networks architectures with a wide range of modifications of the learning algorithms have been tested in the next stage. Suggested algorithms have been then applied for real data representing gas consumption in the Czech Republic with the focus on the winter part of the year. Spectral analysis of these signals with the sampling period of 2 hours and 1 day has been performed at first for original data and then for pre-processed signals. The main part of the work has been devoted to the discussion and comparison of all models mentioned above.

Keywords: autoregressive linear model, subset AR model, full AR model, feed forward neural network, linear neural network, recurrent neural network, Levenberg-Marquardt backpropagation, epochwise backpropagation, spectral analysis, prediction, gas consumption

Abstrakt: Zaměřením této diplomové práce bylo vzájemné porovnání vlastností různých predikčních metod, jako jsou autoregresní modely, lineární, feed-forward a rekurentní neuronové sítě. Všechny zmíněné typy modelů byly použity pro adaptivní a klasický predikční přístup. Algoritmus SVD a QRcp byl použit při hledání zkrácených autoregresních modelů. Stejně tak jako pro AR modely tak i pro tři různé neuronové sítě byly hledány vhodné parametry. Při hledání bylo otestováno mnoho různých architektur neuronových sítí s mnoha modifikacemi učících algoritmů. Navržené algoritmy byly aplikovány na data spotřeby plynu v České republice se zaměřením na zimní období. Byla provedena spektrální analýza těchto signálů se vzorkovací periodou 2 hodiny a 1 den a to jak na reálných datech tak na před-zpracovaných datech. Hlavní část práce je věnována diskusi a porovnání shora uvedených modelů.

Klíčová slova: autoregresní lineární model, zkrácený AR model, plný AR model, lineární neuronová síť, feed forvard neuronová síť, rekurentní neuronová síť, Levenberg-Marquardt backpropagation, epochwise backpropagation, spectrální analýza, predikce, spotřeba plynu