Show simple item record

Persistent homology and neural networks
dc.contributor.advisorŠámal, Robert
dc.creatorČerný, Marek
dc.date.accessioned2022-04-06T11:40:43Z
dc.date.available2022-04-06T11:40:43Z
dc.date.issued2022
dc.identifier.urihttp://hdl.handle.net/20.500.11956/171867
dc.description.abstractHluboké učení prakticky vyřešilo nejrůznější problémy počítačového vidění v průběhu poslední dekády. V práci používáme grupy persistentní homologie z výpočetní topolo- gie k analýze prostorů vnitřních representací příznaků v konvolučních neuronových sítích (CNN). Pozorovali jsme souvislost mezi souhrny homologických persistentních grup rozhodovací hranice a chybou tréninku sítě ResNet-18 v průběhu fenoménu hlubokého dvojitého pok- lesu. Navíc jsme se zaměřili na zvlaštní případ souhrnu, který poukazuje na analogii dvojitého sestupu ve směru epoch, což by mohlo vést lepšímu pochopení vnitřních repre- sentací v průběhu kriticky parametrizovaného režimu sítě. V hlavní části navrhujeme a porovnaváme několik přístupů k procesingu samotných modelů CNN sítí pomocí persistentní homologie. Naše nejlepší metoda zvaná Derivo- vatelný persistentní estimátor kvality (DPAE) dosahuje vysoké přesnosti v predikci kval- ity CNN sítí (tj. R2 skore téměř 0.99). DPAE je topologicky optimalizovatelná end-to-end architektura zahrnující derivovatelný výpočet persistence. Co více, DPAE metoda předčí i původní metodu využívající klasického strojového učení, které byla vytvořena přímo pro dataset, který používáme k testování. Veřejně dáváme k dispozici zdrojový kód jak metody DPAE tak ostatních prezentovaných experimentů. 1cs_CZ
dc.description.abstractDeep learning has solved various computer vision problems in the last decade. We use computational topology, namely persistent homology groups, to analyze the spaces of internal feature representations of convolutional neural networks (CNNs). We observed the correspondence between the summaries of the homological persistence groups of the decision boundary and ResNet-18 CNN training error during the phenomenon of deep double descent. Furthermore, a considered specific persistence summary suggests an analogy to epoch-wise double descent so that we may better understand the internal representations during the critically parametrized regime. Mainly, we develop and compare multiple approaches to CNN models processing using the persistence homology. Our best method, the Differentiable Persistence Accuracy Es- timator (DPAE), achieves very high accuracy in predicting CNN's performance (R2 score close to 0.99). Our DPAE is a topologically optimized end-to-end architecture involving differentiable persistence computation. Moreover, DPAE overperforms the original clas- sical machine learning-based method on its native Small CNN Zoo dataset. We publicly release the complete source code of DPAE and other presented experiments. 1en_US
dc.languageČeštinacs_CZ
dc.language.isocs_CZ
dc.publisherUniverzita Karlova, Matematicko-fyzikální fakultacs_CZ
dc.subjecthomology|neural networksen_US
dc.subjecthomologie|neuronové sítěcs_CZ
dc.titlePersistentní homologie a neuronové sítěcs_CZ
dc.typediplomová prácecs_CZ
dcterms.created2022
dcterms.dateAccepted2022-02-11
dc.description.departmentComputer Science Institute of Charles Universityen_US
dc.description.departmentInformatický ústav Univerzity Karlovycs_CZ
dc.description.facultyMatematicko-fyzikální fakultacs_CZ
dc.description.facultyFaculty of Mathematics and Physicsen_US
dc.identifier.repId237698
dc.title.translatedPersistent homology and neural networksen_US
dc.contributor.refereeTancer, Martin
thesis.degree.nameMgr.
thesis.degree.levelnavazující magisterskécs_CZ
thesis.degree.disciplineDiskrétní modely a algoritmycs_CZ
thesis.degree.disciplineDiscrete Models and Algorithmsen_US
thesis.degree.programComputer Scienceen_US
thesis.degree.programInformatikacs_CZ
uk.thesis.typediplomová prácecs_CZ
uk.taxonomy.organization-csMatematicko-fyzikální fakulta::Informatický ústav Univerzity Karlovycs_CZ
uk.taxonomy.organization-enFaculty of Mathematics and Physics::Computer Science Institute of Charles Universityen_US
uk.faculty-name.csMatematicko-fyzikální fakultacs_CZ
uk.faculty-name.enFaculty of Mathematics and Physicsen_US
uk.faculty-abbr.csMFFcs_CZ
uk.degree-discipline.csDiskrétní modely a algoritmycs_CZ
uk.degree-discipline.enDiscrete Models and Algorithmsen_US
uk.degree-program.csInformatikacs_CZ
uk.degree-program.enComputer Scienceen_US
thesis.grade.csVýborněcs_CZ
thesis.grade.enExcellenten_US
uk.abstract.csHluboké učení prakticky vyřešilo nejrůznější problémy počítačového vidění v průběhu poslední dekády. V práci používáme grupy persistentní homologie z výpočetní topolo- gie k analýze prostorů vnitřních representací příznaků v konvolučních neuronových sítích (CNN). Pozorovali jsme souvislost mezi souhrny homologických persistentních grup rozhodovací hranice a chybou tréninku sítě ResNet-18 v průběhu fenoménu hlubokého dvojitého pok- lesu. Navíc jsme se zaměřili na zvlaštní případ souhrnu, který poukazuje na analogii dvojitého sestupu ve směru epoch, což by mohlo vést lepšímu pochopení vnitřních repre- sentací v průběhu kriticky parametrizovaného režimu sítě. V hlavní části navrhujeme a porovnaváme několik přístupů k procesingu samotných modelů CNN sítí pomocí persistentní homologie. Naše nejlepší metoda zvaná Derivo- vatelný persistentní estimátor kvality (DPAE) dosahuje vysoké přesnosti v predikci kval- ity CNN sítí (tj. R2 skore téměř 0.99). DPAE je topologicky optimalizovatelná end-to-end architektura zahrnující derivovatelný výpočet persistence. Co více, DPAE metoda předčí i původní metodu využívající klasického strojového učení, které byla vytvořena přímo pro dataset, který používáme k testování. Veřejně dáváme k dispozici zdrojový kód jak metody DPAE tak ostatních prezentovaných experimentů. 1cs_CZ
uk.abstract.enDeep learning has solved various computer vision problems in the last decade. We use computational topology, namely persistent homology groups, to analyze the spaces of internal feature representations of convolutional neural networks (CNNs). We observed the correspondence between the summaries of the homological persistence groups of the decision boundary and ResNet-18 CNN training error during the phenomenon of deep double descent. Furthermore, a considered specific persistence summary suggests an analogy to epoch-wise double descent so that we may better understand the internal representations during the critically parametrized regime. Mainly, we develop and compare multiple approaches to CNN models processing using the persistence homology. Our best method, the Differentiable Persistence Accuracy Es- timator (DPAE), achieves very high accuracy in predicting CNN's performance (R2 score close to 0.99). Our DPAE is a topologically optimized end-to-end architecture involving differentiable persistence computation. Moreover, DPAE overperforms the original clas- sical machine learning-based method on its native Small CNN Zoo dataset. We publicly release the complete source code of DPAE and other presented experiments. 1en_US
uk.file-availabilityV
uk.grantorUniverzita Karlova, Matematicko-fyzikální fakulta, Informatický ústav Univerzity Karlovycs_CZ
thesis.grade.code1
dc.contributor.consultantRieck, Bastian Alexander
uk.publication-placePrahacs_CZ
uk.thesis.defenceStatusO


Files in this item

Thumbnail
Thumbnail
Thumbnail
Thumbnail
Thumbnail
Thumbnail

This item appears in the following Collection(s)

Show simple item record


© 2017 Univerzita Karlova, Ústřední knihovna, Ovocný trh 560/5, 116 36 Praha 1; email: admin-repozitar [at] cuni.cz

Za dodržení všech ustanovení autorského zákona jsou zodpovědné jednotlivé složky Univerzity Karlovy. / Each constituent part of Charles University is responsible for adherence to all provisions of the copyright law.

Upozornění / Notice: Získané informace nemohou být použity k výdělečným účelům nebo vydávány za studijní, vědeckou nebo jinou tvůrčí činnost jiné osoby než autora. / Any retrieved information shall not be used for any commercial purposes or claimed as results of studying, scientific or any other creative activities of any person other than the author.

DSpace software copyright © 2002-2015  DuraSpace
Theme by 
@mire NV