作者 | 蔣寶尚

編輯 | 賈偉

全世界約有6900種語(yǔ)言，但大多數(shù)并沒(méi)有英語(yǔ)這種數(shù)據(jù)規(guī)模，這也導(dǎo)致大多數(shù)的NLP基準(zhǔn)僅限于英文任務(wù)，這大大制約了自然語(yǔ)言處理的多語(yǔ)言發(fā)展。

從語(yǔ)言學(xué)的角度，值得注意的一點(diǎn)是，不同語(yǔ)言或許有相同的來(lái)源，例如英語(yǔ)的“desk”和德語(yǔ)的“ Tisch”都來(lái)自拉丁語(yǔ)“ discus”。

如何利用語(yǔ)言之間的這種“共享結(jié)構(gòu)”來(lái)克服數(shù)據(jù)不足問(wèn)題，是當(dāng)前學(xué)術(shù)界嘗試多語(yǔ)言研究的方向之一。
近日，谷歌聯(lián)合CMU、DeepMind推出的《XTREME：評(píng)估跨語(yǔ)言泛化的大規(guī)模、多語(yǔ)言、多任務(wù)基準(zhǔn)》（XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization）極大的鼓勵(lì)了多語(yǔ)言研究。

（雷鋒網(wǎng)）
這篇研究涵蓋了40種類(lèi)型多樣的語(yǔ)言（涵蓋12種語(yǔ)系），還包括9項(xiàng)需要共同對(duì)不同級(jí)別的句法或語(yǔ)義進(jìn)行推理的任務(wù)。

XTREME設(shè)計(jì)原則

正如谷歌論文的標(biāo)題，XTREME是一個(gè)基準(zhǔn)，用來(lái)評(píng)估跨語(yǔ)言遷移學(xué)習(xí)的好壞，在多樣化和具有代表性的任務(wù)和語(yǔ)言上，其選擇構(gòu)成基準(zhǔn)的任務(wù)和語(yǔ)言主要考慮的原則包括：任務(wù)的難度、任務(wù)的多樣性、以及訓(xùn)練的效率、多語(yǔ)言性、充足的單語(yǔ)數(shù)據(jù)等等。

1、任務(wù)難度足夠有挑戰(zhàn)性，使得跨語(yǔ)言的表現(xiàn)低于人的表現(xiàn)；
2、任務(wù)應(yīng)該要求語(yǔ)言模型在不同的層次上傳遞不同的意義，例如，分類(lèi)任務(wù)需要句子級(jí)的意義轉(zhuǎn)移，而序列標(biāo)記任務(wù)，如語(yǔ)音部分（POS）標(biāo)記或命名實(shí)體識(shí)別（NER）則需要測(cè)試模型在詞級(jí)的意義轉(zhuǎn)移能力；
3、考慮到資源有限，任務(wù)要求在一個(gè)GPU上就能夠訓(xùn)練，而且訓(xùn)練時(shí)間不能超過(guò)一天；
4、首先考慮涵蓋多語(yǔ)言和語(yǔ)系的任務(wù)；
5、任務(wù)的使用是獲得許可的，能夠允許用于研究，以及以此為目的數(shù)據(jù)再分配。

XTREME任務(wù)一覽

（雷鋒網(wǎng)）

XTREME包含9個(gè)任務(wù)，共有4個(gè)類(lèi)別，可以在不同的意義層次上進(jìn)行推理。任務(wù)概述如上表所示。

XNLI：FAIR 和紐約大學(xué)合作開(kāi)發(fā)，作為一個(gè)新的自然語(yǔ)言推斷語(yǔ)料庫(kù)，其將MultiNLI 的測(cè)試集和開(kāi)發(fā)集擴(kuò)展到 15 種語(yǔ)言，包括斯瓦西里語(yǔ)和烏爾都語(yǔ)等低資源語(yǔ)言。

PAWS-X：是在 PAWS 數(shù)據(jù)集基礎(chǔ)上, 擴(kuò)展了包含另外6 種不同類(lèi)型語(yǔ)言的釋義識(shí)別對(duì)抗性數(shù)據(jù)集, 支持語(yǔ)言包括: 法語(yǔ)、西班牙語(yǔ)、德語(yǔ)、漢語(yǔ)、日語(yǔ)和韓語(yǔ)。PAWS-X 數(shù)據(jù)集則包含23 659組由人工判斷而得的PAWS 擴(kuò)展句子對(duì), 以及296 406 組由機(jī)器翻譯的訓(xùn)練對(duì)。 

POS：作者使用了通用依存關(guān)系中數(shù)據(jù)庫(kù)中的POS標(biāo)簽數(shù)據(jù)，并使用英語(yǔ)訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練，并在目標(biāo)語(yǔ)言的測(cè)試集上進(jìn)行了評(píng)估。

NER：對(duì)于NER，作者使用了Wikiann數(shù)據(jù)集，并用知識(shí)庫(kù)屬性、跨語(yǔ)言、錨鏈接、自我訓(xùn)練和數(shù)據(jù)選擇相結(jié)合的方法，對(duì)維基百科中的命名實(shí)體進(jìn)行了IOB2格式的LOC、PER和ORG標(biāo)簽的自動(dòng)注釋。

XQuAD：是一個(gè)更全面的跨語(yǔ)言基準(zhǔn)測(cè)試，包括由專(zhuān)業(yè)翻譯人員翻譯成十種語(yǔ)言的240段和1190對(duì)問(wèn)題回答。

MLQA：這是一個(gè)類(lèi)似于XQuAD的多語(yǔ)言問(wèn)題回答數(shù)據(jù)集，能夠用于評(píng)估跨語(yǔ)言問(wèn)答性能的基準(zhǔn)。其由SQuAD格式的超過(guò)5K提取QA實(shí)例（英語(yǔ)為12K）組成，使用7種語(yǔ)言-英語(yǔ)，阿拉伯語(yǔ)，德語(yǔ)，西班牙語(yǔ)，北印度語(yǔ)，越南語(yǔ)和簡(jiǎn)體中文。

（雷鋒網(wǎng)）XTREME基準(zhǔn)測(cè)試中支持的任務(wù)

TyDiQA-GoldP：TyDiQA是一個(gè)涵蓋了 11 種不同類(lèi)型語(yǔ)言的問(wèn)答語(yǔ)料庫(kù)，TyDiQA-GoldP是其簡(jiǎn)化版，并排除了一些無(wú)法回答的問(wèn)題。它類(lèi)似于XQuAD和MLQA，但比這兩個(gè)分別少了三倍和兩倍的的詞法重疊度。另外，作者使用使用英語(yǔ)訓(xùn)練數(shù)據(jù)在目標(biāo)語(yǔ)言的測(cè)試集上進(jìn)行訓(xùn)練和評(píng)估。

BUCC：該數(shù)據(jù)集為每種語(yǔ)言提供了訓(xùn)練和測(cè)試分詞，為了簡(jiǎn)化，作者直接對(duì)測(cè)試集上的表征進(jìn)行評(píng)估，沒(méi)有進(jìn)行微調(diào)，但使用了余弦相似度公式計(jì)算相似度。

Tatoeba：該數(shù)據(jù)集包含了多達(dá)1000個(gè)覆蓋122種語(yǔ)言的英語(yǔ)句子對(duì)，在該數(shù)據(jù)集上，作者使用余弦相似度找到近鄰（ nearest neighbour），并計(jì)算錯(cuò)誤率。

綜上，XTREME中包含的任務(wù)涵蓋了一系列范式，包括句子分類(lèi)，結(jié)構(gòu)化預(yù)測(cè)，句子檢索和問(wèn)題解答。

評(píng)估

由于英語(yǔ)是多語(yǔ)言表征中最常用的評(píng)估設(shè)置，并且多數(shù)任務(wù)中僅有英語(yǔ)訓(xùn)練數(shù)據(jù)，所以谷歌在評(píng)估設(shè)置上采用英語(yǔ)作為源語(yǔ)言的zero-shot跨語(yǔ)言遷移。雖然英語(yǔ)并非所有目標(biāo)語(yǔ)言的跨語(yǔ)言遷移的最佳源語(yǔ)言，但這是目前實(shí)踐中最擁有的設(shè)置。

為了使用XTREME評(píng)估模型性能，首先需要使用引起跨語(yǔ)言學(xué)習(xí)的目標(biāo)語(yǔ)言在多語(yǔ)言文本上對(duì)模型進(jìn)行預(yù)訓(xùn)練，接著在指定任務(wù)的英語(yǔ)數(shù)據(jù)上對(duì)模型進(jìn)行微調(diào)。隨后，XTREME 在目標(biāo)語(yǔ)言上評(píng)估模型的zero-shot跨語(yǔ)言遷移性能。

下圖展示了從預(yù)訓(xùn)練到微調(diào)再到zero-shot遷移的三大流程：

模型的跨語(yǔ)言遷移學(xué)習(xí)過(guò)程：1、針對(duì)多語(yǔ)言文本的預(yù)訓(xùn)練；2、使用英語(yǔ)對(duì)下游任務(wù)進(jìn)行微調(diào)；3、使用 XTREME 進(jìn)行 zero-shot 評(píng)估。

實(shí)踐中，這種zero-shot設(shè)置的好處之一是能夠提升計(jì)算效率，即預(yù)訓(xùn)練模型僅需要針對(duì)每個(gè)任務(wù)在英語(yǔ)數(shù)據(jù)上進(jìn)行微調(diào)，便可以在其他語(yǔ)言上直接進(jìn)行評(píng)估。

針對(duì)在其他語(yǔ)言中也有標(biāo)注數(shù)據(jù)的任務(wù)，作者也比較了模型在這些語(yǔ)言上進(jìn)行微調(diào)后的性能，最終獲得了 9 個(gè)XTREME任務(wù)的zero-shot得分，得出了綜合分?jǐn)?shù)。

在基準(zhǔn)測(cè)試方面，谷歌研究者選擇幾種當(dāng)前最先進(jìn)的多語(yǔ)言模型進(jìn)行試驗(yàn)，包括多語(yǔ)言BERT 模型 （mBERT），多語(yǔ)言BERT 模型的大型版本XLM和XLM-R 以及大型多語(yǔ)言機(jī)器翻譯模型 M4。這些模型的共同特點(diǎn)，就是它們已經(jīng)在來(lái)自不同語(yǔ)言的大量數(shù)據(jù)上進(jìn)行了預(yù)訓(xùn)練。

在方法上，主要采用的是通過(guò)自監(jiān)督或借助譯文來(lái)學(xué)習(xí)多語(yǔ)言表征。

圖注：基于翻譯的基準(zhǔn)對(duì)句子檢索沒(méi)有意義。在有目標(biāo)語(yǔ)言訓(xùn)練數(shù)據(jù)的情況下，作者提供了語(yǔ)言?xún)?nèi)基準(zhǔn)。

實(shí)驗(yàn)結(jié)果如上圖所示，XLMR是表現(xiàn)最好的模型，總體上比mBERT有明顯的改進(jìn)，但是在結(jié)構(gòu)化預(yù)測(cè)任務(wù)上的改進(jìn)較小。MMTE在大多數(shù)任務(wù)上的性能與mBERT相當(dāng)，在XNLI、POS和BUCC上的性能更強(qiáng)。

對(duì)于有語(yǔ)內(nèi)訓(xùn)練數(shù)據(jù)（ in-language training data）的任務(wù)，使用語(yǔ)內(nèi)數(shù)據(jù)訓(xùn)練的多語(yǔ)言模型要優(yōu)于zero-shot遷移模型。但是，只要有更多的英語(yǔ)樣本，zero-shot遷移模型就會(huì)好于只訓(xùn)練了1000個(gè)復(fù)雜QA任務(wù)的語(yǔ)言?xún)?nèi)示例的多語(yǔ)言模型。

對(duì)于結(jié)構(gòu)化預(yù)測(cè)任務(wù)，1,000個(gè)語(yǔ)內(nèi)實(shí)例能使模型達(dá)到與在完整的標(biāo)簽化數(shù)據(jù)集上訓(xùn)練的性能。

最后，在Translate-train和In-language設(shè)置上的多任務(wù)學(xué)習(xí)一般都比單一語(yǔ)言訓(xùn)練有所改善。

對(duì)于一些有代表性的模型，作者研究了跨語(yǔ)言轉(zhuǎn)移差距，即在英語(yǔ)測(cè)試集上的表現(xiàn)與所有其他語(yǔ)言之間的差距。

如上圖所示，雖然在XQuAD和MLQA等具有挑戰(zhàn)性的任務(wù)上，XLM-R等強(qiáng)大的模型與mBERT相比，可以顯著縮小差距，但它們?cè)诰浞ńY(jié)構(gòu)化預(yù)測(cè)任務(wù)上的影響不盡相同。

在分類(lèi)任務(wù)上，轉(zhuǎn)移學(xué)習(xí)的差距最小，說(shuō)明在這些任務(wù)上的進(jìn)步空間可能較小。

機(jī)器翻譯的使用雖然縮小了所有任務(wù)之間的差距。總體而言，所有方法都存在很大的差距，這表明跨語(yǔ)言遷移工作的潛力很大。

分析

作者進(jìn)行了一系列的分析，研究了當(dāng)前能夠達(dá)到SOTA的跨語(yǔ)言模型的局限性。具體分析包括五個(gè)部分：

圖注：XLM-R在XTREME任務(wù)中所有語(yǔ)言在各個(gè)任務(wù)中的表現(xiàn)概述

最佳zero-shot模式分析：如上圖所示，這部分主要說(shuō)明為什么在不同的任務(wù)和語(yǔ)言中評(píng)估通用的多語(yǔ)言表征非常重要。

與訓(xùn)練前數(shù)據(jù)大小的相關(guān)性：如上圖模型性能與各語(yǔ)言中維基百科文章數(shù)量的皮爾森相關(guān)系數(shù)ρ，表明除了結(jié)構(gòu)化預(yù)測(cè)任務(wù)的任務(wù)外，多數(shù)任務(wù)的相關(guān)系數(shù)都很高。這意味著當(dāng)前的模型無(wú)法充分利用從預(yù)訓(xùn)練數(shù)據(jù)中提取的信息來(lái)轉(zhuǎn)移到句法任務(wù)。

語(yǔ)言特點(diǎn)分析：如上圖，根據(jù)不同語(yǔ)系和編寫(xiě)腳本分析結(jié)果。對(duì)于mBERT，印歐語(yǔ)系的分支(如日耳曼語(yǔ)、羅曼語(yǔ)和斯拉夫語(yǔ))的遷移性能最佳。相比之下，尼日爾-剛果和克拉-傣語(yǔ)等低資源語(yǔ)系的跨語(yǔ)言遷移表現(xiàn)仍然較低。另外，不同的流行腳本，如拉丁文和表意文字，在句法任務(wù)上的表現(xiàn)是不同的。

跨語(yǔ)言的錯(cuò)誤：因?yàn)閷?duì)于其他測(cè)試集是從英語(yǔ)翻譯過(guò)來(lái)的XNLI和XQuAD，這部分作者分析了這些方法在源語(yǔ)言和目標(biāo)語(yǔ)言中是否會(huì)犯同樣類(lèi)型的錯(cuò)誤。更為具體一些是探討了英語(yǔ)中正確和錯(cuò)誤預(yù)測(cè)的例子是否在其他語(yǔ)言中被正確預(yù)測(cè)。結(jié)果是在XNLI和XQuAD數(shù)據(jù)集上有不同答案。

推廣到不可見(jiàn)的標(biāo)簽組合和實(shí)體：這部分主要分析了結(jié)構(gòu)化預(yù)測(cè)任務(wù)遷移不成功的原因。結(jié)論是該模型可能難以推廣到更具目標(biāo)語(yǔ)言特征的實(shí)體。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。