Active learning for Bayesian neural networks in image classification

Abstract

V posledných rokoch dosahujú zložité neurónové siete špičkové výsledky v klasifikácií obrazu. Trénovanie takýchto modelov však vyžaduje veľké množstvo označkovaných dát. Kým neoznačkované obrázky sú často dostupné vo ve ľkom množstve, značkovanie vyžaduje značné ľudské úsilie. Aktívne učenie znižuje nároky na značkovanie vyberan ím najinformatívnejších inštancií na označkovanie. Najpoužívanejšia rodina stratégií pre vyberanie inštancií na znač kovanie v aktívnom učení využíva odhad neistoty predpovedí modelu, ktorý sa trénuje. Moderné neurónové siete vš ak často neposkytujú spoľahlivé odhady neistoty. Bayesovské neurónové siete modelujú neistotu parametrov model u, ktorá sa premieta do neistoty v predpovediach modelu. Presná Bayesovská inferencia je však neriešiteľná pre neur ónové siete, v literatúre však existujú rôzne približné metódy. V našich experimentoch používame tri takéto metódy, ktoré kombinujeme s rôznymi stratégiami pre vyberanie inštancií, využívajúcimi neistotu v ich predpovediach.

In the past few years, complex neural networks have achieved state of the art results in image classification. However, training these models requires large amounts of labelled data. Whereas unlabelled images are often readily available in large quantities, obtaining l abels takes considerable human effort. Active learning reduces the required labelling effort by selecting the most informative instances to label. The most popular active learning query strategy framework, uncertainty sampling, uses uncertainty estimates of the model being trained to select instances for labelling. However, modern classification neural networks often do not provide good uncertainty estimates. Baye sian neural networks model uncertainties over model parameters, which can be used to obtain uncertainties over model predictions. Exact Bayesian inference is intractable for neural networks, however several approximate methods have been proposed. We experiment with three such methods using various uncertainty sampling active learning query strategies.