Reducing Number of Parameters in Convolutional Neural Networks

Abstract

V současné době hlubokého učenı́ se často použı́vajı́ konvolučnı́ neuronové sı́tě jako základ systémů zpracovávajı́cı́ch obrázky nebo videa. Mnoho exis- tujı́cı́ch architektur takových sı́tı́ je ale zbytečně přeparametrizováno a jejich výsledky mohou být dosáhnuty také pomocı́ alternativ, které použı́vajı́ mnohem méně parametrů. Našı́m cı́lem v této práci je navrhnout metodu, která by byla schopna hledat takové alternativnı́ architektury na základě nějaké již existujı́cı́ konvolučnı́ sı́tě. Navrhujeme obecné schéma k redukci architektur, a vyhodnocu- jeme tři různé metody, jak v takovém schématu najı́t co možná nejlepšı́ reduko- vanou architekturu. Experimenty provádı́me na architekturách ResNet a Wide ResNet nad datasetem CIFAR-10. Nejlepšı́ navržená metoda zvládá redukovat počet parametrů o 75-85% bez libovolné ztráty přesnosti i v těchto již relativně úsporných architekturách. 1

In the current deep learning era, convolutional neural networks are commonly used as a backbone of systems that process images or videos. A lot of existing neural network architectures are however needlessly overparameterized and their performance can be closely matched by an alternative that uses much smaller amount of parameters. Our aim is to design a method that is able to find such alternative(s) for a given convolutional architecture. We propose a general scheme for architecture reduction and evaluate three algorithms that search for the op- timal smaller architecture. We do multiple experiments with ResNet and Wide ResNet architectures as the base using CIFAR-10 dataset. The best method is able to reduce the number of parameters by 75-85% without any loss in accuracy even in these already quite efficient architectures. 1