Artificial neural networks for clustering and rule extraction

Abstract

Problematika extrakce pravidel pomocí neuronových sítí byla během uplynulých desetiletí častým námětem výzkumných prací. Tato diplomová práce navrhuje nový model rostoucí fuzzy inferenční neuronové sítě, vycházejících z principu rostoucích neuronových struktur [5]. To síti umožnuje postupný nárust počtu skrytých neuronů až do velikosti potřebné pro dané úlohy. Pro úcely této sítě byla zvýšena citlivost již existujícího shlukovacího algoritmu vůči požadovaným výstupním hodnotám. Je také představen nový rychlý algoritmus adaptace vah, inspirovaný teorií fuzzy množin. Vlastnosti navrženého modelu i nová metoda výběru signifikantních vstupních příznaků podporuje extrakci relativně malého množství jednoduchých fuzzy pravidel. Navržené techniky jsou experimenálně ověřeny na reálných datech popisujících vztah mezi ruzným typem bydlení v okolí Bostonu a jeho cenou. Data byla získána z databáze "Bostonské ceny bydlení".

Rule extraction with neural networks has been a common research topic over the last decades. This master thesis proposes a novel growing fuzzy inference neural network, based on the principle of growing neural structures [5]. This allows the network to adjust iteratively its number of hidden neurons. For the purpose of this network an existing clustering algorithm is enhanced to improve the sensitivity to the requested output. A novel fast weights adaptation, inspired by the fuzzy set theory, is also suggested. The characteristics of the proposed model and a new method of the selection of significant input features support the induction of a relatively small amount of simple fuzzy rules. The introduced techniques have been experimentally tested on real-world data describing the relationship between various types of housing in the Boston area and its price. The data was obtained from the "Boston housing" dataset.