Extrakce znalostí pomocí vrstevnatých neuronových sítí

Abstract

Název práce: Extrakce znalostí pomocí vrstevnatých neuronových sítí Autor: Zuzana Reitermanová Katedra: Katedra softwarového inženýrství Vedoucí diplomové práce: Doc. RNDr. Iveta Mrázová, CSc. e-mail vedoucího: mrazova@ksi.ms.mff.cuni.cz Abstrakt: Model vrstevnatých neuronových sítí je známý především díky své univerzální aproximační schopnosti. Již základní algoritmus zpětného šíření dává výsledky použitelné v reálných aplikacích. Efektivní řešení složitých úloh by však mělo vyhovovat náročným požadavkům na rychlost procesu učení a na transparentní strukturu vytvořené sítě. Ta totiž souvisí s lepší schopností sítě zobecňovat extrahované znalosti a následně i se snazší in- terpretací funkce naučené sítě. Lepšího zobecňování lze dosáhnout použitím různých technik, jako je např. učení s nápovědou, prořezávání a analýza citlivosti. Mezi rychlé algoritmy učení pak patří metody konjugovaných gra- dientů. V první části této práce jsme shrnuli a navzájem porovnali výše zmíněné techniky. Následně jsme odvodili novou metodu, která v sobě spojuje výhody předchozích technik. Navržený algoritmus je inspirovaný extrémně rychlou metodou škálovaných konjugovaných gradientů....

Title: Knowledge Extraction with BP-networks Author: Zuzana Reitermanová Department: Katedra softwarového inženýrství Supervisor: Doc. RNDr. Iveta Mrázová, CSc. Supervisor's e-mail address: mrazova@ksi.ms.mff.cuni.cz Abstract: Multi-layered neural networks of the back-propagation type are well known for their universal approximation capability. Already the stan- dard back-propagation training algorithm used for their adjustment provides often applicable results. However, efficient solutions to complex tasks cur- rently dealt with require a quick convergence and a transparent network structure. This supports both an improved generalization capability of the formed networks and an easier interpretation of their function later on. Var- ious techniques used to optimize the structure of the networks like learning with hints; pruning and sensitivity analysis are expected to impact a bet- ter generalization, too. One of the fast learning algorithms is the conjugate gradient method. In this thesis, we discuss, test and analyze the above-mentioned methods. Then, we derive a new technique combining together the advantages of them. The proposed algorithm is based on the rapid scaled conjugate gradient tech- nique. This classical method is enhanced with the enforcement of a transpar- ent internal knowledge...