Finding invariances in sensory coding through gradient methods.

Abstract

Kľúčom k porozumeniu spracovania zrakových vnemov je získať vhľad do senzorick- ého kódovania jednotlivých neurónov. Za týmto účelom došlo za posledných 50 rokov k veľkému pokroku v trénovaní modelov na neurálnych dátach s cieľom identifikovať mapo- vanie senzorického priestoru na neurálne odpovede. Najmä pokrok hlbokých neurónových sietí v neurovede umožnil vytvorenie modelov s vynikajúcou prediktívnou silou. Takéto pokročilé neurálne modely sú však zložité a ich zlá interpretovateľnosť doteraz bránila hlbšiemu pochopeniu princípov vizuálneho kódovania. Na riešenie tohto problému bola v nedávnej štúdii navrhnutá metóda, ktorá identi- fikuje stimul, ktorý najviac aktivuje neurón. Senzorické kódovanie vysoko nelineárnych neurónov, ktoré majú vysoké zastúpenie v prvotných fázach vizuálneho spracovania, je však príliš zložité na to, aby ich mohol jediný stimul dostatočne charakterizovať. Ro- bustnejším spôsobom, ako charakterizovať toto kódovanie, je identifikácia vstupného pod- priestoru stimulov, ktoré identicky aktivujú neurón - teda nájdenie invariancií senzorickej reprezentácie neurónu. V tejto práci je navrhnutý nový postup na nájdenie takýchto invariantných stimu- lov. Navrhovaná technika je založená na neurónovej sieti - generátore, ktorý mapuje gaussovský šum z latentného priestoru na množinu...

The key to understanding vision is to acquire insight into the sensory coding of indi- vidual neurons. To this end, major advances were done over the past 50 years in fitting models to neural data to identify the mapping from sensory space to neural responses. Especially the advance of DNNs in neuroscience allowed for model fits with excellent predictive power. However, such advanced neural models are complex, and their poor in- terpretability has so far hindered deeper understanding of the principles of visual coding. To address this issue, a recent study proposed a method which identifies the stimulus that activates the neuron the most. However, the sensory coding of highly non-linear neurons, which are abundant already at the earliest stages of visual processing, is too complex for a single stimulus to sufficiently characterize it. A more robust way to char- acterize this coding is through identifying the input sub-space within which the neuron is activated identically - i.e. finding invariances of the neuron's sensory representation. In this thesis, a novel approach for finding such invariant stimuli is proposed. The proposed technique is based on a generator neural network, which maps Gaussian noise from latent space to a stimulus set which equally activates a given neuron. The method demonstrated the...