Show simple item record

On-line learning in real-time environments
dc.contributor.advisorSpier, Emmet
dc.creatorPacovský, Ondřej
dc.date.accessioned2017-03-17T11:19:42Z
dc.date.available2017-03-17T11:19:42Z
dc.date.issued2006
dc.identifier.urihttp://hdl.handle.net/20.500.11956/3148
dc.description.abstractPráce se zabývá vývojem nového algoritmu pro zpětnovazební učení (reinforcement learning), nazvaného StimulusActionReward Network (krátce SARN). Cílem je vyvinout algoritmus pro nasazení v reálném prostředí. To klade na použité techniky dvě hlavní omezení: řídící algoritmus musí pracovat se vstupy v oboru reálných čísel a učení musí probíhat za pochodu, bez předchozích trénovacích běhů. Dalším cílem je minimalizovat zásahy učitele (člověka) nutné pro úspěšné nasazení algoritmu pro daný problém. Architektura SARN kombinuje konekcionistickou síť a skalární zpětnou vazbu použitím hebbovských principů. Postupnou změnou vah v síti se tvoří vazby mezi relevantními vstupy (stimuly) a akcemi, které vedou k pozitivní zpětné vazbě. Protože použitý algoritmus je schopen rychle vybrat důležité vstupy, je možné použít vstupní prostor poměrně velké dimenze. To vede k myšlence použití náhodné rekurentní sítě pro před-zpracování vstupu. Prototyp byl testován ve virtuálním prostředí Unreal 2004. V porovnání s Q-learning vykazuje SARN v časové skále desítek sekund až jednotek minut typicky lepší výsledky. Zejména po spojení s Echo State Network vyžaduje SARN narozdíl od většiny srovnatelných algoritmů velmi málo zásahů od učitele nad rámec skalární zpětné vazby. Díky těmto vlastnostem je algoritmus použitelný například pro...cs_CZ
dc.description.abstractIn this work, a novel reinforcement learning algorithm, Stimulus Action Reward Network (SARN), is developed. It is targeted for application in real-time domainswhere the inputs are usually continuous and adaptation must proceed on-line, without separate training periods. Another objective is to minimise the amount of problem-specific teacher(human) input needed for successful application of the algorithm. The SARN architecture combines a connectionist network and scalar reinforcement feedback by employing Hebbian principles. By adapting the network weights, connections are established between stimuli and actions that lead to positive feedback. Since the links between the input stimuli and the actions are formed quite rapidly, it is possible to use a large number of stimuli. This leads to the idea of using recurrent random network (Echo State Network) as a pre-processing layer. Prototype implementation is tested in Unreal 2004 game environment. The comparison with Q-learning shows that on the time scale of tens of seconds to minutes, SARN typically achieves better performance. When coupled with an Echo State Network, SARN requires a uniquely low amount of problem-specific information supplied by the teacher. These features make SARN useful for domains such as autonomous robot control and game AI.en_US
dc.languageEnglishcs_CZ
dc.language.isoen_US
dc.publisherUniverzita Karlova, Matematicko-fyzikální fakultacs_CZ
dc.titleOn-line learning in real-time environmentsen_US
dc.typediplomová prácecs_CZ
dcterms.created2006
dcterms.dateAccepted2006-02-06
dc.description.departmentDepartment of Software Engineeringen_US
dc.description.departmentKatedra softwarového inženýrstvícs_CZ
dc.description.facultyFaculty of Mathematics and Physicsen_US
dc.description.facultyMatematicko-fyzikální fakultacs_CZ
dc.identifier.repId43705
dc.title.translatedOn-line learning in real-time environmentscs_CZ
dc.contributor.refereeMrázová, Iveta
dc.identifier.aleph000850423
thesis.degree.nameMgr.
thesis.degree.levelmagisterskécs_CZ
thesis.degree.disciplineTheoretical computer scienceen_US
thesis.degree.disciplineTeoretická informatikacs_CZ
thesis.degree.programInformaticsen_US
thesis.degree.programInformatikacs_CZ
uk.faculty-name.csMatematicko-fyzikální fakultacs_CZ
uk.faculty-name.enFaculty of Mathematics and Physicsen_US
uk.faculty-abbr.csMFFcs_CZ
uk.degree-discipline.csTeoretická informatikacs_CZ
uk.degree-discipline.enTheoretical computer scienceen_US
uk.degree-program.csInformatikacs_CZ
uk.degree-program.enInformaticsen_US
thesis.grade.csVýborněcs_CZ
thesis.grade.enExcellenten_US
uk.abstract.csPráce se zabývá vývojem nového algoritmu pro zpětnovazební učení (reinforcement learning), nazvaného StimulusActionReward Network (krátce SARN). Cílem je vyvinout algoritmus pro nasazení v reálném prostředí. To klade na použité techniky dvě hlavní omezení: řídící algoritmus musí pracovat se vstupy v oboru reálných čísel a učení musí probíhat za pochodu, bez předchozích trénovacích běhů. Dalším cílem je minimalizovat zásahy učitele (člověka) nutné pro úspěšné nasazení algoritmu pro daný problém. Architektura SARN kombinuje konekcionistickou síť a skalární zpětnou vazbu použitím hebbovských principů. Postupnou změnou vah v síti se tvoří vazby mezi relevantními vstupy (stimuly) a akcemi, které vedou k pozitivní zpětné vazbě. Protože použitý algoritmus je schopen rychle vybrat důležité vstupy, je možné použít vstupní prostor poměrně velké dimenze. To vede k myšlence použití náhodné rekurentní sítě pro před-zpracování vstupu. Prototyp byl testován ve virtuálním prostředí Unreal 2004. V porovnání s Q-learning vykazuje SARN v časové skále desítek sekund až jednotek minut typicky lepší výsledky. Zejména po spojení s Echo State Network vyžaduje SARN narozdíl od většiny srovnatelných algoritmů velmi málo zásahů od učitele nad rámec skalární zpětné vazby. Díky těmto vlastnostem je algoritmus použitelný například pro...cs_CZ
uk.abstract.enIn this work, a novel reinforcement learning algorithm, Stimulus Action Reward Network (SARN), is developed. It is targeted for application in real-time domainswhere the inputs are usually continuous and adaptation must proceed on-line, without separate training periods. Another objective is to minimise the amount of problem-specific teacher(human) input needed for successful application of the algorithm. The SARN architecture combines a connectionist network and scalar reinforcement feedback by employing Hebbian principles. By adapting the network weights, connections are established between stimuli and actions that lead to positive feedback. Since the links between the input stimuli and the actions are formed quite rapidly, it is possible to use a large number of stimuli. This leads to the idea of using recurrent random network (Echo State Network) as a pre-processing layer. Prototype implementation is tested in Unreal 2004 game environment. The comparison with Q-learning shows that on the time scale of tens of seconds to minutes, SARN typically achieves better performance. When coupled with an Echo State Network, SARN requires a uniquely low amount of problem-specific information supplied by the teacher. These features make SARN useful for domains such as autonomous robot control and game AI.en_US
uk.publication.placePrahacs_CZ
uk.grantorUniverzita Karlova, Matematicko-fyzikální fakulta, Katedra softwarového inženýrstvícs_CZ


Files in this item

Thumbnail
Thumbnail
Thumbnail
Thumbnail
Thumbnail
Thumbnail

This item appears in the following Collection(s)

Show simple item record


© 2017 Univerzita Karlova, Ústřední knihovna, Ovocný trh 560/5, 116 36 Praha 1; email: admin-repozitar [at] cuni.cz

Za dodržení všech ustanovení autorského zákona jsou zodpovědné jednotlivé složky Univerzity Karlovy. / Each constituent part of Charles University is responsible for adherence to all provisions of the copyright law.

Upozornění / Notice: Získané informace nemohou být použity k výdělečným účelům nebo vydávány za studijní, vědeckou nebo jinou tvůrčí činnost jiné osoby než autora. / Any retrieved information shall not be used for any commercial purposes or claimed as results of studying, scientific or any other creative activities of any person other than the author.

DSpace software copyright © 2002-2015  DuraSpace
Theme by 
@mire NV