Information-theoretic properties of selected stochastic neuronal models

Abstract

According to the classical efficient-coding hypothesis, biological neurons are naturally adapted to transmit and process information about the stimulus in an optimal way. Shannon's information theory provides methods to compute the fundamental limits on maximal information transfer by a general system. Understanding how these limits differ between different classes of neurons may help us to better understand how sensory and other information is processed in the brain. In this work we provide a brief review of information theory and its use in computational neuroscience. We use mathematical models of neuronal cells with stochastic input that realistically reproduce different activity patterns observed in real cortical neurons. By employing the neuronal input-output pro- perties we calculate several key information-theoretic characteristics, including the information capacity. In order to determine the information capacity we propose an iterative extension of the Blahut-Arimoto algorithm that generalizes to continuous input channels subjected to constraints. Finally, we compare the information optimality conditions among different models and parameter sets. 1

Dle klasické hypotézy o efektivním kódování jsou biologické neurony evo- lucí adaptované k tomu, aby byl jimi přenos informace optimální. Shannonova teorie infomace poskytuje metody výpočtu fundamentálních limit na přenos in- formace libovolným systémem. Pochopení rozdílů mezi těmito limitami mezi různými typy neuronů nám může pomoci lépe pochopit, jak mozek zpracovává senzorickou a jinou informaci. V této práci poskytujeme krátký přehled teorie informace a jejího použití v početních neurovědách. Využíváme matematické mo- dely nervových buňek se stochastickým vstupem, které jsou schopny realisticky reprodukovat aktivitu pozorovanou v neuronech v mozkové kůře. Z nasimulo- vané závislosti mezi stimulem neuronu a jeho výstupem jsme spočítali několik klíčových informačně-teoretických charakteristik, včetně informační kapacity. Za tímto účelem jsme navrhli zobecnění iterativního rozšíření Blahutova-Arimotova algoritmu na spojité vstupy. Na závěr porovnáváme výsledky pro různé hodnoty parametrů modelu. 1