Knowledge Extraction with Deep Belief Networks

Abstract

Deep Belief Networks (DBNs) are multi-layered neural networks constructed as a series of Restricted Boltzmann Machines stacked on each other. Like several other types of neural networks, increasing the size of a DBN will generally improve its performance. However, this comes at the cost of increased computational complexity and memory requirements. It is usually necessary to reduce a deep neural network's size to deploy it on a mobile device. To address this issue, we focus on a size-reduction technique called pruning. Pruning aims to zero out a large portion of the network's weights without significantly affecting its accuracy. We apply selected pruning algorithms to DBNs and evaluate their performance on both grayscale and color images. We also investigate the performance of the so-called confidence rules extracted from a trained DBN. These rules offer a knowledge representation that is easy to interpret. We investigate whether they also provide an accurate low-cost alternative to the original network. 1

Hluboké neuronové sítě typu DBN jsou tvořeny sérií navzájem po vrstvách propojených omezených Boltzmannových strojů (RBM). Zvětšování DBN sítě typicky vede ke zlepšení její přesnosti, podobně jako v případě mnoha dalších typů neuronových sítí. Toto zvětšování ovšem bývá za cenu zvýšené výpočetní složitosti a vyšších paměťových nároků. Pro použití velké neuronové sítě v mobilním zařízení je často nutné její velikost snížit. My jsme se pro snížení velikosti sítí DBN zaměřili na techniku zvanou prořezávání. Cílem prořezávání je odstranit značnou část redundantních vah sítě a přitom zachovat její přesnost. Pro DBN sítě jsme vytipovali několik algoritmů prořezávání a jejich vlastnosti jsme porovnali na různých datech. Dále jsme studovali vlastnosti takzvaných konfidenčních pravidel extrahovaných z natrénované DBN sítě. Použitím těchto pravidel získáme srozumitelnou interpretaci znalostí naučené sítě a jednodušší alternativu k původní síti. 1