Artificial Neural Networks and Their Usage For Knowledge Extraction

Abstract

Title: Artificial Neural Networks and Their Usage For Knowledge Extraction Author: RNDr. Zuzana Petříčková Department: Department of Theoretical Computer Science and Mathema- tical Logic Supervisor: doc. RNDr. Iveta Mrázová, CSc., Department of Theoretical Computer Science and Mathematical Logic Abstract: The model of multi/layered feed/forward neural networks is well known for its ability to generalize well and to find complex non/linear dependencies in the data. On the other hand, it tends to create complex internal structures, especially for large data sets. Efficient solutions to demanding tasks currently dealt with require fast training, adequate generalization and a transparent and simple network structure. In this thesis, we propose a general framework for training of BP/networks. It is based on the fast and robust scaled conjugate gradient technique. This classical training algorithm is enhanced with analytical or approximative sensitivity inhibition during training and enforcement of a transparent in- ternal knowledge representation. Redundant hidden and input neurons are pruned based on internal representation and sensitivity analysis. The performance of the developed framework has been tested on various types of data with promising results. The framework provides a fast training algorithm,...

Název práce: Umělé neuronové sítě a jejich využití při extrakci znalostí Autor: RNDr. Zuzana Petříčková Katedra: Katedra teoretické informatiky a matematické logiky Vedoucí disertační práce: doc. RNDr. Iveta Mrázová, CSc., Katedra teo- retické informatiky a matematické logiky Abstrakt: Vrstevnaté neuronové sítě jsou známé především díky své schopnosti dobře zobecňovat a odhalit v datech i složité nelineární závislosti. Na druhé straně má tento model tendenci vytvářet poměrně složitou vnitřní strukturu, a to především pro rozsáhlé datové sady. Při efektivním řešení náročných úloh jsou proto kladeny vysoké nároky především na rychlost procesu učení, schopnost sítě zobecňovat a na vytvoření jednoduché a transparentní struktury modelu. V této práci jsme navrhli obecnou metodologii pro učení vrstevnatých neuro- nových sítí. Jejím základem je rychlá a robustní metoda škálovaných konjugo- vaných gradientů. Tento standardní algoritmus učení je rozšířen o analytické či aproximativní oslabování citlivosti a o vynucovaní kondenzované interní re- prezentace. Redundantní vstupní a skryté neurony jsou prořezávány pomocí technik založených na citlivostní analýze a interní reprezentaci znalostí....