Permutation-Invariant Semantic Parsing

Abstract

V poslední době můžeme být svědky úspěšné aplikace metod hlubokého učení na parsování sémantických grafů pro přirozené jazyky. Všechny grafové parsery nicméně dosud byly, podle dostupné literatury, založeny na zbytečně silném předpokladu o fixním uspořádání vrcholů. Tato práce se naopak zabývá sémantickým parsováním, jehož učící algoritmus je invariantní vůči všem permutacím grafových vrcholů. Kromě toho je naším cílem vyvinout takový parser, který bude schopen univerzálně zpracovávat věty z různých jazyků a pro různé cílové sémantické formalismy. Abychom empiricky porovnali náš přístup s konkurenčními systémy, zúčastnili jsme se mezinárodní soutěže na CoNLL 2020: Cross-Framework Meaning Representation Parsing (MRP 2020). Ta porovnává soutěžní systémy na pěti formalismech (AMR, DRG, EDS, PTG a UCCA) a pro čtyři různé zdrojové jazyky (angličtina, čeština, němčina a standardní čínština). Náš parsovací systém, zkráceně nazvaný PERIN, byl jedním z vítězů této soutěže. I proto věříme, že náš přístup představuje slibný směr pro budoucí vývoj sémantických parserů. 1

Deep learning has been successfully applied to semantic graph parsing in recent years. However, to our best knowledge, all graph-based parsers depend on a strong assumption about the ordering of graph nodes. This work explores a permutation-invariant approach to sentence-to-graph semantic parsing. We present a versatile, cross-framework, and language-independent architecture for universal modeling of semantic structures. To empirically validate our method, we participated in the CoNLL 2020 shared task, Cross- Framework Meaning Representation Parsing (MRP 2020), which evaluated the competing systems on five different frameworks (AMR, DRG, EDS, PTG, and UCCA) across four languages. Our parsing system, called PERIN, was one of the winners of this shared task. Thus, we believe that permutation invariance is a promising new direction in the field of semantic parsing. 1