Active learning for Bayesian neural networks in image classification
Aktivní učení Bayesovských neuronových sítí pro klasifikaci obrazu
diploma thesis (DEFENDED)

View/ Open
Permanent link
http://hdl.handle.net/20.500.11956/121002Identifiers
Study Information System: 222319
Collections
- Kvalifikační práce [9664]
Author
Advisor
Consultant
Holeňa, Martin
Referee
Vomlelová, Marta
Faculty / Institute
Faculty of Mathematics and Physics
Discipline
Artificial Intelligence
Department
Department of Theoretical Computer Science and Mathematical Logic
Date of defense
14. 9. 2020
Publisher
Univerzita Karlova, Matematicko-fyzikální fakultaLanguage
English
Grade
Excellent
Keywords (Czech)
strojové učení, hluboké učení, neuronové sítě, aktivní učení, klasifikace obrazu, Bayesovské učení, Bayesovské neuronové sítěKeywords (English)
machine learning, deep learning, neural networks, active learning, image classification, Bayesian learning, Bayesian neural networksV posledných rokoch dosahujú zložité neurónové siete špičkové výsledky v klasifikácií obrazu. Trénovanie takýchto modelov však vyžaduje veľké množstvo označkovaných dát. Kým neoznačkované obrázky sú často dostupné vo ve ľkom množstve, značkovanie vyžaduje značné ľudské úsilie. Aktívne učenie znižuje nároky na značkovanie vyberan ím najinformatívnejších inštancií na označkovanie. Najpoužívanejšia rodina stratégií pre vyberanie inštancií na znač kovanie v aktívnom učení využíva odhad neistoty predpovedí modelu, ktorý sa trénuje. Moderné neurónové siete vš ak často neposkytujú spoľahlivé odhady neistoty. Bayesovské neurónové siete modelujú neistotu parametrov model u, ktorá sa premieta do neistoty v predpovediach modelu. Presná Bayesovská inferencia je však neriešiteľná pre neur ónové siete, v literatúre však existujú rôzne približné metódy. V našich experimentoch používame tri takéto metódy, ktoré kombinujeme s rôznymi stratégiami pre vyberanie inštancií, využívajúcimi neistotu v ich predpovediach.
In the past few years, complex neural networks have achieved state of the art results in image classification. However, training these models requires large amounts of labelled data. Whereas unlabelled images are often readily available in large quantities, obtaining l abels takes considerable human effort. Active learning reduces the required labelling effort by selecting the most informative instances to label. The most popular active learning query strategy framework, uncertainty sampling, uses uncertainty estimates of the model being trained to select instances for labelling. However, modern classification neural networks often do not provide good uncertainty estimates. Baye sian neural networks model uncertainties over model parameters, which can be used to obtain uncertainties over model predictions. Exact Bayesian inference is intractable for neural networks, however several approximate methods have been proposed. We experiment with three such methods using various uncertainty sampling active learning query strategies.
Citace dokumentu
Metadata
Show full item recordRelated items
Showing items related by title, author, creator and subject.
-
Využití e-learningu na střední škole při výuce odborných předmětů
Defence status: DEFENDEDSnášel, Antonín (Univerzita Karlova, Pedagogická fakulta, 2015)Date of defense: 8. 9. 2015 -
Pojmové mapy a jejich využití v učení vysokoškolských studentů
Defence status: DEFENDEDZůnová, Tereza (Univerzita Karlova, Filozofická fakulta, 2017)Date of defense: 24. 5. 2017This thesis presents concept maps as an alternative tool for learning of adult university students. The theoretical part explains the changes in the ability to learn of these adult students. The thesis presents basic ... -
Možnosti aplikace konceptu otevřeného vzdělávání na českých univerzitách
Defence status: DEFENDEDBušek, Kamil (Univerzita Karlova, Filozofická fakulta, 2014)Date of defense: 24. 6. 20144 Abstrakt: V bakalářské práci je na úvod pojednáno o teoretických a filozofických východiscích, které se týkají specifik vzdělávání v postmoderní společnosti. Následuje vymezení historického vývoje distančního vzdělávání. ...