Vrstevnaté neuronové sítě a jejich aplikace při dobývání znalostí

Abstract

Dobývání znalostí řeší netriviální úlohy extrakce informací z často velkých objemů dat. Ta navíc mohou být zatížena velkým množstvím nepřesností a jejich kvalita může být diskutabilní. Při nasazení vrstevnatých neuronových sítí v dobývání znalostí je proto nutné položit si dvě základní otázky. Jak co nejlépe připravit data, aby bylo možné využít celý potenciál neuronových sítí. A také jak co nejvhodněji navrhnout a následně adaptovat neuronovou síť, aby dokázala dobře řešit zadané úlohy. Jedním z nejdůležitějších předpokladů je zamezit přeučení neuronové sítě. Výsledná síť by měla co nejlépe zobecňovat získané znalosti. Existují různé techniky, které se liší svým přístupem k problému i svými vlastnostmi. Jedná se o specifické úpravy dat (např. změna rozsahu dat, změna dimenze vstupu, přidání šumu), případně o modifikace základního modelu neuronové sítě (např. učení se zapomínáním, weight decay, early stopping). Tato práce shrnuje a porovnává jednotlivé přístupy. První část nabízí teoretický popis a porovnání jednotlivých metod. Jejich vlastnosti jsou ověřeny v experimentální části na úlohách různých typů. Na základě vyhodnocení získaných poznatků jsme navrhli metodiku řešení úloh dobývání znalostí pomocí vrstevnatých neuronových sítí. Metodiku jsme s úspěchem aplikovali na reálné úloze dobývání znalostí....

The goal of data mining is to solve various problems dealing with knowledge extraction from huge amounts of real-world data, the quality of which might be disputable. Neural networks can help with the solution due to their generalization capabilities. While working on data mining projects, we have essentially the following two objectives in real-world applications of feed-forward neural networks. To obtain applicable results, it is crucial to provide the networks with well-prepared data. However, it is equally important to choose the right training strategy for the networks themselves - including network architecture, parameter settings or the training algorithm. One of the most important ideas behind these steps is namely to prevent "over-training". The final network should recall unknown examples as well as possible. There are plenty of techniques with different approaches to the solution. It is possible to modify the data, these comprises modifying the range of the data or its dimension, adding noise to the data, etc. Yet another way is the modification of the neural network by structural learning with forgetting, weight decay or early stopping. These techniques are analyzes both theoretically and experimentally in this thesis. With regard to the results achieved in a number of experimental tests we have...