自然語言處理是人工智能皇冠上的明珠，近日，度小滿金融AI-Lab讓人類摘得明珠的步伐又前進了一步。據(jù)中文語言理解領域的權威測評基準官網公布，度小滿金融AI-Lab研發(fā)的軒轅(XuanYuan)預訓練模型在CLUE1.1分類任務中“力壓群雄”獲得了排名第一的好成績。距離人類“表現(xiàn)”僅差3.38分！

CLUE是中文語言理解領域最具權威性的測評基準之一，涵蓋了文本相似度、分類、閱讀理解共10項語義分析和理解類子任務。其中，分類任務需要解決6個問題，例如傳統(tǒng)圖像分類，文本匹配，關鍵詞分類等等，能夠全方面衡量模型性能。該榜單競爭激烈，幾乎是業(yè)內兵家必爭之地，例如快手搜索、優(yōu)圖實驗室 & 騰訊云等等研究機構也都提交了比賽方案。

據(jù)悉，位居榜首的“軒轅”是基于Transformer架構的預訓練語言模型，涵蓋了金融、新聞、百科、網頁等多領域大規(guī)模數(shù)據(jù)。因此，該模型“內含”的數(shù)據(jù)更全面，更豐富，面向的領域更加廣泛。

 

傳統(tǒng)預訓練模型采取“訓練-反饋”模式，度小滿金融AI-Lab在訓練“軒轅”的時候細化了這一過程，引入了任務相關的數(shù)據(jù)，融合不同粒度不同層級的交互信息，從而改進了傳統(tǒng)訓練模式。

模型設計思路有兩點：

1.宏觀角度，先從通用大規(guī)模的數(shù)據(jù)逐漸遷移到小規(guī)模的特定業(yè)務以及特定任務，然后去通過不同的階段逐漸訓練，直到滿足目標任務。

2.微觀角度，針對不同的下游分類任務，會相應的設計出定制化的分類模型。然后采用自監(jiān)督學習、遷移學習等等提升模型的性能。

目前，“軒轅”還處于1.0的版本，更側重于自然語言理解能力，在接下來的2.0版本中，研發(fā)人員會采用更大規(guī)模的數(shù)據(jù)，訓練出更加通用的預訓練模型，從而賦能更多的業(yè)務和領域。

 

度小滿為何“看中”預訓練模型？

預訓練模型是一種遷移學習的應用，可以利用幾乎無限的文本，學習輸入句子的每一個成員的上下文相關的表示，它隱式地學習到了通用的語法語義知識。

換句話說，預訓練模型把通用人類的語言知識先學會，然后再代入到某個具體任務。它可以將從開放領域學到的知識遷移到下游任務，以改善低資源任務；還可以使自然語言處理由原來的手工調參、依靠 ML 專家的階段，進入到可以大規(guī)模、可復制的大工業(yè)施展的階段。

不止是融合人類知識，預訓練模型的“改善”、“大規(guī)模”、“可復制”等關鍵詞背后意味著降成本、提效率。這和度小滿金融CEO朱光““用科技服務小微企業(yè)是金融科技公司的價值和使命”的理念不謀而合。

今年5月21日，在度小滿金融成立三周年之際，度小滿金融CEO朱光表示，“未來三年，度小滿將繼續(xù)加大人工智能技術的研發(fā)投入，聚焦小微客戶，持續(xù)降低小微企業(yè)主的整體融資成本，為3000萬小微企業(yè)主提供值得信賴的綜合金融服務?！?/p>

目前，除了預訓練，度小滿金融AI-Lab在文本分類、信息抽取和技術資源等方向亦有布局。在戰(zhàn)略上會有兩點側重：首先加強自身的數(shù)據(jù)生態(tài)建設，合法合規(guī)使用用戶數(shù)據(jù)，解決數(shù)據(jù)孤島；其次通過產學研相結合，布局前沿技術，落地金融場景業(yè)務。目前，度小滿與北京大學光華管理學院成立了“金融科技聯(lián)合實驗室”，和西安交大成立了“西安交通大學-度小滿金融人工智能聯(lián)合研究中心”，并與中國科學院自動化研究所共建博士后工作站，共同開展人工智能及相關領域的博士后聯(lián)合招收培養(yǎng)。

度小滿研發(fā)人員一直相信人工智能技術勢必會變革金融領域的已有研究范式。因此，連接理論前沿研究與業(yè)界的技術應用研究，推動人工智能技術在金融產業(yè)中發(fā)揮更大價值，會是度小滿一直的追求。

雷峰網雷峰網雷峰網(公眾號：雷峰網)

雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。