Deep Neural Networks with Biologically Inspired Local Connectivity and Topographic Organization

Abstract

Convolutional neural networks achieve strong computer vision performance, but their rigid weight sharing and channel-based feature organization are poorly aligned with the topographic organization of biological visual cortex. This thesis investigates whether cortical-like topographic organization can emerge from architectural constraints, rather than being directly imposed through a similarity loss. We introduce LocalLinear, a generalization of locally connected layers that maps between two-dimensional neuronal sheets of arbitrary sizes and densities, replacing convolutional weight sharing with localized, neuron-specific connectivity. To structure the resulting connections, weights are generated by hypernetworks conditioned on neuronal descriptors and spatial offsets. To make these models trainable, we implement a custom CUDA kernel and memory- efficient hypernetwork backpropagation. The best-performing hypernetwork-based variant achieves image classification performance comparable to FLOP-matched convolutional baselines, while sinusoidal implicit representations produce the clearest smooth orientation preference maps. Together, these results suggest a path toward deep visual models whose neuronal structure can be represented as a function over continuous space.

Konvoluční neuronové sítě dosahují velmi dobrých výsledků v úlohách počítačového vidění, avšak jejich striktní sdílení vah a organizace reprezentací do kanálů neodpovídají topografické organizaci biologické zrakové kůry. Tato práce zkoumá, zda může kortikálně podobná topografická organizace vznikat z architektonických omezení, spíše než být přímo vynucena pomocí podobnostní ztrátové funkce. Představujeme vrstvu LocalLinear, zobecnění lokálně propojených vrstev, která umožňuje mapování mezi dvourozměrnými neuronálními plochami libovolných velikostí a hustot a nahrazuje konvoluční sdílení vah lokalizovanou, neuronově specifickou konektivitou. Pro strukturování výsledných spojení jsou váhy generovány hypernetworks podmíněnými neuronálními deskriptory a prostorovými posuny. Aby bylo možné tyto modely trénovat, implementujeme vlastní CUDA jádro a paměťově efektivní zpětnou propagaci pro hypernetworks. Nejlepší hypernetwork varianta dosahuje úspěšnosti v klasifikaci obrazů srovnatelné s konvolučními baseline modely odpovídajícími počtem FLOPs, zatímco implicitní neurální reprezentace se sinusoidálními aktivacemi vytvářejí nejkoherentnější mapy preferované orientace. Společně tyto výsledky naznačují cestu k hlubokým zrakovým modelům, jejichž neuronální struktura může být reprezentována jako funkce nad spojitým...