百度發(fā)布NLP模型ERNIE，基于知識(shí)增強(qiáng)，在多個(gè)中文NLP任務(wù)中表現(xiàn)超越BERT

本文作者：汪思穎

2019-03-17 10:37

導(dǎo)語：ERNIE 通過建模海量數(shù)據(jù)中的詞、實(shí)體及實(shí)體關(guān)系，學(xué)習(xí)真實(shí)世界的語義知識(shí)。

雷鋒網(wǎng) AI 科技評(píng)論消息，Google 近期提出的 BERT 模型，通過預(yù)測(cè)屏蔽的詞，利用 Transformer 的多層 self-attention 雙向建模能力，取得了很好的效果。但是，BERT 模型的建模對(duì)象主要聚焦在原始語言信號(hào)上，較少利用語義知識(shí)單元建模。這個(gè)問題在中文方面尤為明顯，例如，BERT 在處理中文語言時(shí)，通過預(yù)測(cè)漢字進(jìn)行建模，模型很難學(xué)出更大語義單元的完整語義表示。例如，對(duì)于乒 [mask] 球，清明上 [mask] 圖，[mask] 顏六色這些詞，BERT 模型通過字的搭配，很容易推測(cè)出掩碼的字信息，但沒有顯式地對(duì)語義概念單元 (如乒乓球、清明上河圖) 以及其對(duì)應(yīng)的語義關(guān)系進(jìn)行建模。

設(shè)想如果能夠讓模型學(xué)習(xí)到海量文本中蘊(yùn)含的潛在知識(shí)，勢(shì)必會(huì)進(jìn)一步提升各個(gè) NLP 任務(wù)效果?；诖耍俣忍岢隽嘶谥R(shí)增強(qiáng)的 ERNIE 模型。

ERNIE 通過建模海量數(shù)據(jù)中的詞、實(shí)體及實(shí)體關(guān)系，學(xué)習(xí)真實(shí)世界的語義知識(shí)。相較于 BERT 學(xué)習(xí)局部語言共現(xiàn)的語義表示，ERNIE 直接對(duì)語義知識(shí)進(jìn)行建模，增強(qiáng)了模型語義表示能力。

例如以下例子：

百度發(fā)布NLP模型ERNIE，基于知識(shí)增強(qiáng)，在多個(gè)中文NLP任務(wù)中表現(xiàn)超越BERT

Learned by BERT ：哈 [mask] 濱是 [mask] 龍江的省會(huì)，[mask] 際冰 [mask] 文化名城。
Learned by ERNIE：[mask] [mask] [mask] 是黑龍江的省會(huì)，國(guó)際 [mask] [mask] 文化名城。

在 BERT 模型中，通過『哈』與『濱』的局部共現(xiàn)，即可判斷出『爾』字，模型沒有學(xué)習(xí)與『哈爾濱』相關(guān)的知識(shí)。而 ERNIE 通過學(xué)習(xí)詞與實(shí)體的表達(dá)，使模型能夠建模出『哈爾濱』與『黑龍江』的關(guān)系，學(xué)到『哈爾濱』是『黑龍江』的省會(huì)以及『哈爾濱』是個(gè)冰雪城市。

訓(xùn)練數(shù)據(jù)方面，除百科類、資訊類中文語料外，ERNIE 還引入了論壇對(duì)話類數(shù)據(jù)，利用 DLM（Dialogue Language Model）建模 Query-Response 對(duì)話結(jié)構(gòu)，將對(duì)話 Pair 對(duì)作為輸入，引入 Dialogue Embedding 標(biāo)識(shí)對(duì)話的角色，利用 Dialogue Response Loss 學(xué)習(xí)對(duì)話的隱式關(guān)系，進(jìn)一步提升模型的語義表示能力。

通過在自然語言推斷、語義相似度、命名實(shí)體識(shí)別、情感分析、問答匹配 5 個(gè)公開的中文數(shù)據(jù)集合上進(jìn)行效果驗(yàn)證，ERNIE 模型相較 BERT 取得了更好的效果。

1. 自然語言推斷任務(wù) XNLI

XNLI 由 Facebook 和紐約大學(xué)的研究者聯(lián)合構(gòu)建，旨在評(píng)測(cè)模型多語言的句子理解能力。目標(biāo)是判斷兩個(gè)句子的關(guān)系（矛盾、中立、蘊(yùn)含）。

鏈接：https://github.com/facebookresearch/XNLI

百度發(fā)布NLP模型ERNIE，基于知識(shí)增強(qiáng)，在多個(gè)中文NLP任務(wù)中表現(xiàn)超越BERT