Combining text-based and vision-based semantics
Combining text-based and vision-based semantics
diplomová práce (OBHÁJENO)
Zobrazit/ otevřít
Trvalý odkaz
http://hdl.handle.net/20.500.11956/49006Identifikátory
SIS: 97195
Kolekce
- Kvalifikační práce [10690]
Autor
Vedoucí práce
Oponent práce
Straková, Jana
Fakulta / součást
Matematicko-fyzikální fakulta
Obor
Matematická lingvistika
Katedra / ústav / klinika
Ústav formální a aplikované lingvistiky
Datum obhajoby
6. 9. 2011
Nakladatel
Univerzita Karlova, Matematicko-fyzikální fakultaJazyk
Angličtina
Známka
Výborně
Klíčová slova (česky)
semantics, semantic similarity measurement, text, image, vector space modelKlíčová slova (anglicky)
semantics, semantic similarity measurement, text, image, vector space modelZískání a reprezentace (lexikální) sémantické informace patří mezi nejdůležitější úlohy, které přispívají ke kvalitě automatického zpracování přirozeného jazyka (viz např. nedávná studie (Turney a Pantel, 2010)). V této práci je navržen nový, inovativní (ve skutečnosti první svého druhu) experimentální systém pro vytváření multimodálních distribučních sémantických modelů na základě kombinace nejlepších existujících modelů pracujících na základě zpracování textů nebo obrazu. Multimodální sémantický model testujeme pomocí úloh odhadu sémantické podobnosti, sémantického shlukování konceptů, a pomocí nedávno vyvinutého testu BLESS. Navrhujeme také efektivní algoritmus pro nalezení vhodných parametrů pro integraci multimodálních atributů za účelem získání robustnosti modelu. Naše experimenty ukazují, že navržená technika slibuje vysokou účinnost. Napříč různými experimenty se náš nejlepší multimodální model ukázal být na prvním místě. Při srovnání s jinými modely, které pracují pouze na základě analýzy textu, je náš navržený model mezi vůbec nejlepšími. V práci jsme zkoumali různé druhy vizuálních deskriptorů včetně metody SIFT, aby bylo možno posoudit, jak by se mohly metody počítačového vidění uplatnit v oblasti zpracování přirozeného jazyka. V práci ukazujeme důležité zjištění, že přidávání...
Learning and representing semantics is one of the most important tasks that significantly contribute to some growing areas, as successful stories in the recent survey of Turney and Pantel (2010). In this thesis, we present an in- novative (and first) framework for creating a multimodal distributional semantic model from state of the art text-and image-based semantic models. We evaluate this multimodal semantic model on simulating similarity judgements, concept clustering and the newly introduced BLESS benchmark. We also propose an effective algorithm, namely Parameter Estimation, to integrate text- and image- based features in order to have a robust multimodal system. By experiments, we show that our technique is very promising. Across all experiments, our best multimodal model claims the first position. By relatively comparing with other text-based models, we are justified to affirm that our model can stay in the top line with other state of the art models. We explore various types of visual features including SIFT and other color SIFT channels in order to have prelim- inary insights about how computer-vision techniques should be applied in the natural language processing domain. Importantly, in this thesis, we show evi- dences that adding visual features (as the perceptual information coming from...
Citace dokumentu
Metadata
Zobrazit celý záznamSouvisející záznamy
Zobrazují se záznamy příbuzné na základě názvu, autora a předmětu.
-
K sémantice základních číslovek
Výsledek obhajoby: OBHÁJENOPoncarová, Alena (Univerzita Karlova, Filozofická fakulta, 2011)Datum obhajoby: 20. 6. 2011Cílem této bakalářské práce bylo zkoumat sémantiku základních číslovek, konkrétně číslovky jeden (kapitola 2.3), číslovky tři (kapitola 2.4) a číslovky pět (kapitola 2.5). Ve zpracování této problematiky jsem postupovala ... -
Přejímky z francouzštiny v současné bulharštině
Výsledek obhajoby: OBHÁJENOGeorgievová, Jana (Univerzita Karlova, Filozofická fakulta, 2013)Datum obhajoby: 9. 9. 2013Bakalářská práce se zaměřuje na lexikální jednotky francouzského původu v současné bulharštině a podrobuje je lexikální, fonetické, morfologické a sémantické analýze, která ukazuje proces jejich adaptace a asimilace do ... -
Vznik diskurzních markerů v češtině: případová studie slova vždyť
Výsledek obhajoby: OBHÁJENODoischer, Tomáš (Univerzita Karlova, Filozofická fakulta, 2015)Datum obhajoby: 7. 9. 2015Hlavním cílem této práce je analýza jednoho z českých diskurzních markerů, výrazu vždyť, jak po stránce synchronní, tak diachronní. V kontextu této analýzy jsou diskutovány otázky lingvistické metodologie. Důraz je kladen ...