云從科技與上海交大 AAAI 入選論文解讀：語(yǔ)義角色標(biāo)注新思路 get

本文作者： AI科技評(píng)論

編輯：汪思穎

2019-02-19 09:53

專題：AAAI 2019

導(dǎo)語(yǔ)：通過(guò)對(duì)謂詞、論元評(píng)分，以及謂詞和論元的一個(gè)雙仿射變換，同時(shí)實(shí)現(xiàn)了對(duì)謂詞的識(shí)別、以及謂詞與論元的聯(lián)合預(yù)測(cè)。

雷鋒網(wǎng) AI 科技評(píng)論消息，AAAI 2019 已于月初落幕，國(guó)內(nèi)企業(yè)也在陸續(xù)公布自家被錄用論文名單。本屆大會(huì)共收到 7700 余篇有效投稿，其中 7095 篇論文進(jìn)入評(píng)審環(huán)節(jié)，最終有 1150 篇論文被錄用，錄取率為 16.2%。

上海交通大學(xué)與云從科技聯(lián)合創(chuàng)新實(shí)驗(yàn)室論文《Dependency or Span, End-to-End Uniform Semantic Role Labeling》被 AAAI 2019 錄用，在這篇論文中，模型通過(guò)對(duì)謂詞、論元評(píng)分，以及謂詞和論元的一個(gè)雙仿射變換，同時(shí)實(shí)現(xiàn)了對(duì)謂詞的識(shí)別、以及謂詞與論元的聯(lián)合預(yù)測(cè)。以下為對(duì)該論文的詳細(xì)解讀。

云從科技與上海交大 AAAI 入選論文解讀：語(yǔ)義角色標(biāo)注新思路 get

語(yǔ)義角色標(biāo)注（SRL）旨在發(fā)現(xiàn)句子的謂詞-論元結(jié)構(gòu)。它以句子的謂詞為中心，分析句子中各成分與謂詞之間的關(guān)系，即句子的謂詞（Predicate）- 論元（Argument）結(jié)構(gòu)。謂詞是對(duì)主語(yǔ)的陳述或說(shuō)明，指出“做什么”、“是什么”或“怎么樣，代表了一個(gè)事件的核心，跟謂詞搭配的名詞稱為論元。語(yǔ)義角色是指論元在動(dòng)詞所指事件中擔(dān)任的角色。主要有：施事者（Agent）、受事者（Patient）、客體（Theme）、經(jīng)驗(yàn)者（Experiencer）、受益者（Beneficiary）、工具（Instrument）、處所（Location）、目標(biāo)（Goal）和來(lái)源（Source）等。

例如：“小明昨天晚上在公園遇到了小紅?！?/p>

“遇到”是句子的謂詞，“小明”是謂詞的發(fā)起者，角色為“施事者”，“小紅”是謂詞的接受者，角色是“受事者”，“公園”是謂詞的發(fā)生地點(diǎn)，據(jù)說(shuō)是“處所”等。

作為自然語(yǔ)言處理的一項(xiàng)基礎(chǔ)性任務(wù)，語(yǔ)義角色標(biāo)注能提供上層應(yīng)用的非常重要的語(yǔ)義信息。例如在閱讀理解應(yīng)用中，把語(yǔ)義角色標(biāo)注作為輸入的一部分，可以幫助閱讀理解應(yīng)用更加準(zhǔn)確確定各部分的語(yǔ)義角色，從而提高閱讀理解的準(zhǔn)確性。

比如：“小明打了小華”和“小華被小明打了”，這兩句話語(yǔ)義完全一致，但由于被動(dòng)語(yǔ)態(tài)引起的主語(yǔ)和賓語(yǔ)位置上的變化，當(dāng)提問(wèn)“誰(shuí)挨打了？”時(shí)，閱讀理解算法在處理這兩句時(shí)，有可能會(huì)給出不同的答案。但如果我們把語(yǔ)義角色標(biāo)注也作為閱讀理解的輸入信息，由于兩句話中“小華”都是“受事者”角色，問(wèn)題也是在問(wèn)“受事者”是誰(shuí)，這時(shí)閱讀理解算法往往比較容易給出一致準(zhǔn)確的答案。

明確了一個(gè)句子中各個(gè)成分的語(yǔ)義角色，可以更好的幫助自然語(yǔ)言的理解和處理。比如在“信息提取”任務(wù)中，準(zhǔn)確的提取出動(dòng)作的發(fā)出者信息；在“閱讀問(wèn)答”中給出事件發(fā)生的時(shí)間、地點(diǎn)等。因此，語(yǔ)義角色標(biāo)注時(shí)很多自然語(yǔ)言理解與處理任務(wù)的基礎(chǔ)，對(duì)于實(shí)現(xiàn)自然語(yǔ)言處理意義非常重要。

傳統(tǒng)的語(yǔ)義角色標(biāo)注是建立在句法分析的基礎(chǔ)上的，但由于構(gòu)建準(zhǔn)確的語(yǔ)法樹(shù)比較困難，基于此方法的語(yǔ)義角色標(biāo)注準(zhǔn)確率并不高，因此，近年來(lái)無(wú)句法輸入的端到端語(yǔ)義角色標(biāo)注模型受到了廣泛的關(guān)注。這些模型算法，根據(jù)對(duì)論元的表示不同，又劃分為基于區(qū)間（span）和基于依存（dependency）兩類方法，不同方法的模型只能在對(duì)應(yīng)的論元表示形式上進(jìn)行優(yōu)化，不能擴(kuò)展、應(yīng)用到另一種論元表示上。

云從科技與上海交大 AAAI 入選論文解讀：語(yǔ)義角色標(biāo)注新思路 get

圖一 Span與Dependency統(tǒng)一語(yǔ)義角色標(biāo)注架構(gòu)

我們的論文則通過(guò)提出一個(gè)統(tǒng)一的謂詞與論元表示層，實(shí)現(xiàn)了將論元表示形式的統(tǒng)一（參見(jiàn)上圖中的Predicate&Argument Representation層），因此，該模型可以接受不同論元表示形式的數(shù)據(jù)集進(jìn)行訓(xùn)練。

此外，我們的模型通過(guò)對(duì)謂詞、論元評(píng)分，以及謂詞和論元的一個(gè)雙仿射變換，同時(shí)實(shí)現(xiàn)了對(duì)謂詞的識(shí)別、以及謂詞與論元的聯(lián)合預(yù)測(cè)（參見(jiàn)上圖中Biaffine Scorer層）。我們的單一模型在CoNLL 2005、2012（基于Span的數(shù)據(jù)集）和CoNLL 2008、2009（基于Dependency的數(shù)據(jù)集）SRL基準(zhǔn)數(shù)據(jù)集上，無(wú)論是在自主識(shí)別謂詞、還是在給定謂詞的情況下，相比于學(xué)術(shù)上目前已知的算法，都取得了較領(lǐng)先的結(jié)果，尤其是在span數(shù)據(jù)集、給定謂詞的情況下，我們的單一模型甚至在所有指標(biāo)上領(lǐng)先于已知的Ensemble模型。結(jié)果可參見(jiàn)表二、三、四、五。

云從科技與上海交大 AAAI 入選論文解讀：語(yǔ)義角色標(biāo)注新思路 get