Použitie neuronových sietí pre určenie sémantickej podobnosti dvoch viet

Abstract

Ur enie stup a sémantickej ekvivalencie dvoch viet je dôleûité pre mnohé praktické aplikácie spracovania prirodzeného jazyka. Cie om je ur i po- dobnos viet na ökále od "vety nemajú ûiaden vzájomn˝ vz ah" aû po "vety sú v˝znamovo ekvivalentné". V práci sme skúmali pouûitie rôznych architektúr ne- urónov˝ch sietí pri rieöení tejto úlohy. Navrhli sme modely pouûívajúce rekurentné siete, ktoré spracujú sekvenciu textu do vektora fixnej dimenzie. alej sme sa za- oberali vhodnou reprezentáciou neznámych slov. Naöe experimenty ukázali, ûe jednoduché architektúry dosiahli lepöie v˝sledky na pouûitom datasete. Budúce rozöírenie práce vidíme v pouûití vä öieho po tu trénovacích dát. 1

Figuring out the degree of semantic similarity between two sentences is important for many practical applications of natural language processing. The goal is to determine the similarity of sentences on a scale from "sentences are unrelated" to "sentences are equivalent". In this thesis we examined application of di erent neural network architectures to solve this problem. We proposed models based on Recurrent neural networks, which convert text sequence to constant sized vector. We followed up with suitable representation of unknown words. Our experiments showed that simple architectures achieved better results on the used dataset. We see a future extension of this thesis by using bigger training dataset. 1