Decoding visual stimuli from cortical activity

Abstract

This thesis aims to develop a machine learning model that can decode stimu- lus images from cortical activity in the primary visual cortex (V1) to understand the relationship between V1 activity and visual perception. The limited avai- lability of biological data makes it necessary to use the spiking neural network model of V1 to generate the underlying training data. Machine learning tech- niques, particularly neural networks, will be explored to generate high-quality stimulus images. Standard loss functions, as well as discriminator loss from GAN networks training, will be used to train the decoding models. Linear regression models will be used baseline. The research questions to be addressed include the best decoding approach, the impact of the number of neurons recorded or stimuli presented, the loss of information in high frequencies domain and the effect of intrinsic noise in neural responses on reconstructing visual stimuli. This thesis proposes a trainable convolutional network, which outperforms other baseline models such as linear regression. We observe that the loss function producing the best results is the MSSSIM. However, the intrinsic noise in neural respon- ses limits the reconstruction, and only low frequencies are being reconstructed. The size of the dataset and the number of cortical...

Cílem této práce je vyvinout model pomocí metod strojového učení, který dokáže dekódovat obrazové stimuly z kortikální aktivity v primární zrakové kůře (V1) a umožní tak lépe pochopit vztah mezi aktivitou V1 a zrakovým vnímá- ním. Vzhledem k omezené dostupnosti biologických dat je nutné použít k vy- tvoření trénovacích dat model "spiking"neuronové sítě oblasti V1. Pro genero- vání kvalitních obrazových stimulů budou zkoumány techniky strojového učení, zejména neuronové sítě. K trénování dekódovacích modelů budou použity stan- dardní ztrátové funkce a také diskriminační ztrátová funkce známá z trénování sítí typu GAN. Lineární regresní modely budou použity jako referenční. Mezi otázky, které budou řešeny patří hledání vhodného modelu pro dekódování, vliv počtu zaznamenávaných neuronů nebo prezentovaných podnětů, ztráta infor- mace v oblasti vysokých frekvencí obrazu a vliv vnitřního šumu v neuronech na rekonstrukci vizuálních podnětů. Tato práce přináší trénovatelnou konvoluční síť, která překonává jiné jednodušší modely, jako je lineární regrese. Ukazuje, že ztrátovou funkcí, která poskytuje nejlepší výsledky, je MSSSIM. Vnitřní šum v neuronech však rekonstrukci omezuje a rekonstruují se především nízké frek- vence obrazu. Pro dekódování je důležitá velikost souboru trénovacích dat a počet zaznamenaných...