巨量模型時代，浪潮不做旁觀者：2457億，打造全球最大中文語言模型

本文作者：貝爽

2021-10-01 17:12

導語：源1.0是業(yè)界首個挑戰(zhàn)“圖靈測試”并且使平均誤判率超過50%的巨量模型.

戰(zhàn)鼓催征千嶂寒，陰陽交會九皋盤。
飛軍萬里浮云外，鐵騎叢中明月邊。

看到這首詩歌，有超過50%的人誤以為是人類的杰作

但其實，它出自巨量模型源1.0

經(jīng)過圖靈測試認證，源1.0 寫詩歌、寫對聯(lián)、生成新聞、續(xù)寫小說的能力已經(jīng)讓人類的平均誤判率達到了50.84%。（超過30%即具備人類智能）

9月28日，浪潮人工智能研究院正式發(fā)布全球最大中文預訓練語言模型“源1.0”。歷時四個月研發(fā)，源1.0參數(shù)量已達2457億，約GPT-3的1.4倍。

巨量模型時代，浪潮不做旁觀者：2457億，打造全球最大中文語言模型

中國工程院院士、浪潮首席科學家王恩東表示，源1.0巨量模型旨在打造更“博學”的AI能力，未來將聚合AI最強算力平臺、最優(yōu)質(zhì)的算法開發(fā)能力，支撐和加速行業(yè)智能轉(zhuǎn)型升級，以更具備通用性的智能大模型成就行業(yè)AI大腦。

“源1.0”定位中文語言模型，由5000GB中文數(shù)據(jù)集訓練而成。在國內(nèi)，以中文語言理解為核心的大模型不在少數(shù)，參數(shù)規(guī)模均在億級以上，如悟道· 文源 26 億，阿里PLUG 270 億；華為&循環(huán)智能「盤古」1100億。相比之下，2457億的源1.0 可以說是單體模型中絕對的王者。

更值得關注的是，源1.0是業(yè)界首個挑戰(zhàn)“圖靈測試”并且使平均誤判率超過50%的巨量模型。圖靈測試是判斷機器是否具有智能的最經(jīng)典的方法。通常認為，進行多次測試后，如果人工智能讓平均每個參與者做出超過30%的誤判，那么這臺機器就通過了測試，并被認為具有人類智能。源1.0逼近通過圖靈測試，再次證明了大模型實現(xiàn)認知智能的潛力。

為何加入這股“浪潮”？

近幾年，巨量模型在人工智能領域大行其道，BERT、GPT-3、Switch Transformer、悟道2.0相繼問世，出道即巔峰，在產(chǎn)學各界掀起一陣陣巨浪。如今“巨量模型”一詞已經(jīng)成功破圈，成為全民熱詞。那么，人工智能遭遇了哪些瓶頸，巨量模型又帶來了哪些可能性？

在會后采訪中，浪潮信息副總裁、AI&HPC產(chǎn)品線總經(jīng)理劉軍表示，人工智能模型目前存在諸多挑戰(zhàn)，當前最首要的問題是模型的通用性不高，即某一個模型往往專用于特定領域，應用于其他領域時效果不好。

巨量模型時代，浪潮不做旁觀者：2457億，打造全球最大中文語言模型

也就是說，面對眾多行業(yè)、諸多業(yè)務場景，人工智能需求正呈現(xiàn)出碎片化、多樣化的特點，而現(xiàn)階段的AI模型研發(fā)仍處于手工作坊式，從研發(fā)、調(diào)參、優(yōu)化、迭代到應用，研發(fā)成本極高且難以滿足市場定制化需求。而訓練超大規(guī)模模型在一定程度上解決通用性問題，它可以被應用于翻譯，問答，文本生成等等，涵蓋自然語言理解的所有領域。

具體來說，從手工作坊式走向“工場模式”，大模型提供了一種可行方案：預訓練+下游微調(diào)”，大規(guī)模預訓練可以有效地從大量標記和未標記的數(shù)據(jù)中捕獲知識，通過將知識存儲到大量的參數(shù)中并對特定任務進行微調(diào)，極大地擴展了模型的泛化能力。同時大模型的自監(jiān)督學習方法，使數(shù)據(jù)無需標注成為可能，在一定程度上解決了人工標注成本高、周期長、準確度不高的問題。

巨量模型時代，浪潮不做旁觀者：2457億，打造全球最大中文語言模型

劉軍解釋說，大模型最重要的優(yōu)勢是表明進入了大規(guī)?？蓮椭频漠a(chǎn)業(yè)落地階段，只需小樣本的學習也能達到比以前更好的能力，且模型參數(shù)規(guī)模越大這種優(yōu)勢越明顯，不需要開發(fā)使用者再進行大規(guī)模的訓練，使用小樣本就可以訓練自己所需模型，能夠大大降低開發(fā)使用成本。

現(xiàn)階段，零樣本學習和小樣本學習是最能衡量巨量模型智能程度的兩項測試。而源1.0在CLUE基準上刷新了多項任務的SOTA。

官方數(shù)據(jù)顯示：源1.0在零樣本榜單中，以超越第二名18.3%的絕對優(yōu)勢遙遙領先。

l 在文獻分類、TNEWS，商品分類、OCNLIF、成語完型填空、名詞代詞關系6項任務中獲得冠軍。

l 在小樣本榜單中，文獻分類、商品分類、文獻摘要識別真假、名詞代詞關系4項任務中獲得冠軍。

巨量模型時代，浪潮不做旁觀者：2457億，打造全球最大中文語言模型

https://www.cluebenchmarks.com/zeroclue.html

巨量模型時代，浪潮不做旁觀者：2457億，打造全球最大中文語言模型

https://www.cluebenchmarks.com/fewclue.html

"面對產(chǎn)業(yè)AI化挑戰(zhàn)，巨量模型在多任務泛化及小樣本學習上突出能力，以及其探索深度學習的極限和實現(xiàn)通用智能的可能性，浪潮前瞻性的做出了開發(fā)巨量模型的重要決策"。劉軍表示，浪潮源1.0大模型只是一個開始，未來源1.0將面向?qū)W術研究單位和產(chǎn)業(yè)實踐用戶進行開源、開放、共享，降低巨量模型研究和應用的門檻，推進AI產(chǎn)業(yè)化和產(chǎn)業(yè)AI化的進步，

2457億是如何煉成的？

大模型需要“大數(shù)據(jù)+大算力+強算法”三駕馬車并駕齊驅(qū)，而對于大部分企業(yè)和機構(gòu)來說，其中任意一項的研發(fā)投入都是沉重的負擔，尤其是算力成本。比如1750億參數(shù)的GPT-3單次訓練需要 355 張 GPU，花費大約 2000 萬美元。所以在煉大模型浪潮中，我們只看到了全球頂級的科技企業(yè)和科研機構(gòu)的身影，而浪潮本潮也在其中。

浪潮源1.0 在算力、算法和數(shù)據(jù)三個方面都做到了超大規(guī)模和巨量化。

巨量模型時代，浪潮不做旁觀者：2457億，打造全球最大中文語言模型

首先是數(shù)據(jù)，浪潮創(chuàng)建了 5000GB 大規(guī)模的中文數(shù)據(jù)集，將近5年互聯(lián)網(wǎng)上的內(nèi)容濃縮成了2000億詞。2000億詞是什么概念？假如人一個月能讀十本書，一年讀一百本書，讀 50 年，一生也就讀 5000 本數(shù)，一本書假如 20 萬字，加起來也就 10 億字。也就是說，人類窮極一生也讀不完2000億詞。

在大數(shù)據(jù)時代，比數(shù)據(jù)量更珍貴的數(shù)據(jù)質(zhì)量。作為AI的底層燃料，模型對數(shù)據(jù)集質(zhì)量提出了更高的要求。為此浪潮創(chuàng)新中文數(shù)據(jù)集生成方法，研制高質(zhì)量文本分類模型，收集并清洗互聯(lián)網(wǎng)數(shù)據(jù)過程中，有效過濾了垃圾文本，最終生成5000GB數(shù)據(jù)集可以說具備了夠大、夠真實、夠豐富的特點。

巨量模型時代，浪潮不做旁觀者：2457億，打造全球最大中文語言模型

在算法層面，源1.0大模型使用了4095PD（PetaFlop/s-day）的計算量，獲得高達2457億的參數(shù)量，相對于GPT-3消耗3640PD計算量得到1750億參數(shù)，計算效率大幅提升；在算力層面，源1.0通過算法與算力協(xié)同優(yōu)化，使模型更利于GPU性能發(fā)揮，極大的提升了計算效率，實現(xiàn)業(yè)界第一訓練性能的同時實現(xiàn)業(yè)界領先的精度。

談起浪潮很多人還是停留在初級的印象，這是一家老牌硬件廠商，每年服務器市場占有率在全球范圍內(nèi)高居榜首。其實浪潮也一直活躍在AI前沿方向，自2018年成立浪潮人工智能研究院以來，其異構(gòu)加速計算、深度學習框架、AI算法等領域已經(jīng)戰(zhàn)績頗豐。例如，浪潮先后推出了深度學習并行計算框架Caffe-MPI、TensorFlow-Opt、全球首個FPGA高效AI計算開源框架TF2等；此外，在全球頂級的AI賽事上已累計獲得56個MLPerf全球AI基準測試冠軍。有了這些深厚的AI功底，浪潮在四個月內(nèi)推出全球最大巨量模型不難理解了．

對于源1.0，業(yè)內(nèi)專業(yè)人士評價稱，其在巨量數(shù)據(jù)、超大規(guī)模分布式訓練的擴展性、計算效率、巨量模型算法及精度提升等等難題上都有所創(chuàng)新和提升。