11月19日，2024年世界互聯(lián)網(wǎng)大會領(lǐng)先科技獎在烏鎮(zhèn)發(fā)布，騰訊Angel機器學(xué)習(xí)平臺憑借其卓越的技術(shù)積累、創(chuàng)新的關(guān)鍵技術(shù)和廣泛的應(yīng)用場景，榮獲本年度領(lǐng)先科技獎。

騰訊Angel 機器學(xué)習(xí)平臺，突破了萬億級模型分布式訓(xùn)練和推理以及大規(guī)模應(yīng)用部署等難題，率先實現(xiàn)大模型技術(shù)從底層硬件到關(guān)鍵軟件技術(shù)的自主研發(fā)，在業(yè)務(wù)場景廣泛應(yīng)用，顯著推動實體產(chǎn)業(yè)和數(shù)字經(jīng)濟發(fā)展，提升社會效率。

世界互聯(lián)網(wǎng)大會領(lǐng)先科技獎由世界互聯(lián)網(wǎng)大會主辦，旨在獎勵全球年度最具領(lǐng)先性的互聯(lián)網(wǎng)科技成果，倡導(dǎo)互聯(lián)網(wǎng)技術(shù)國際交流合作。本年度共有20個具有國際代表性的項目獲獎，整體入選率僅為7.4%，涵蓋類腦計算、具身智能、6G、大數(shù)據(jù)、高性能芯片、AI機器學(xué)習(xí)平臺等前沿領(lǐng)域。

 

騰訊公司副總裁蔣杰 

騰訊公司副總裁蔣杰現(xiàn)場表示，獲得本次世界互聯(lián)網(wǎng)大會領(lǐng)先科技獎，是對騰訊在大模型相關(guān)自研技術(shù)的認可。在大模型時代，模型參數(shù)超過萬億，訓(xùn)練數(shù)據(jù)超過十萬億，如此龐大的規(guī)模，給模型訓(xùn)練和推理帶來巨大挑戰(zhàn)，騰訊全鏈路自研的Angel機器學(xué)習(xí)平臺有效應(yīng)對這些挑戰(zhàn)，實現(xiàn)多個方面的性能效率提升。未來，騰訊也將繼續(xù)投入底層技術(shù)自主研發(fā)，并通過開源共享，推動技術(shù)創(chuàng)新升級，讓智能技術(shù)走入千行百業(yè)。

 

騰訊 Angel 機器學(xué)習(xí)平臺針對萬億規(guī)模大模型分布式訓(xùn)練和推理、應(yīng)用部署難的挑戰(zhàn)，在網(wǎng)絡(luò)互聯(lián)、框架效率、平臺規(guī)模三方面實現(xiàn)了突破。

在通信方面，從網(wǎng)卡到交換機，再到路由協(xié)議，騰訊自研的RDMA網(wǎng)絡(luò)實現(xiàn)了集群高速互聯(lián)，單節(jié)點帶寬達到3.2T，相比于同類領(lǐng)先產(chǎn)品，性能提升30%，成本降低70%。

在效率方面，自研了訓(xùn)練/推理框架，提出顯存加主存的一體化機制，實現(xiàn)多維并行和算子優(yōu)化，相比開源框架，訓(xùn)練性能提升2.6倍，推理速度提升2.3倍。

在規(guī)模方面， 實現(xiàn)了單任務(wù)萬卡的線性擴展，GPU集群加速比從50%提升到99%。

 

作為智能時代的基礎(chǔ)設(shè)施，憑借扎實的技術(shù)積累，騰訊Angel機器學(xué)習(xí)平臺項目技術(shù)成果此前也多次登頂國際權(quán)威領(lǐng)域榜單，獲得 20 余項國際競賽冠軍。Angel 平臺還是中國首個從 Linux Foundation 畢業(yè)的頂級 AI 開源項目，被評為 2019 年度最受歡迎中國開源軟件，平臺吸引了眾多外部開發(fā)者和企業(yè)用戶，促進了技術(shù)的廣泛應(yīng)用和產(chǎn)業(yè)的協(xié)同發(fā)展。2024年3月，騰訊Angel機器學(xué)習(xí)平臺還獲得了2023中國電子學(xué)會科技進步一等獎。

騰訊基于 Angel 機器學(xué)習(xí)平臺全鏈路自研的混元大模型，在中國眾多頭部 AI 研發(fā)企業(yè)中率先采用混合專家模型 (MoE)結(jié)構(gòu)，模型規(guī)模突破萬億，處于中國大模型第一梯隊。11月初，騰訊推出業(yè)界最大參數(shù)規(guī)模的開源MoE模型混元Large，總參數(shù)量 389B，激活參數(shù)量 52B ，上下文長度高達256K，其訓(xùn)練和推理均基于騰訊Angel機器學(xué)習(xí)平臺。

目前，基于騰訊 Angel 機器學(xué)習(xí)平臺，騰訊混元大模型已經(jīng)構(gòu)建了從0.5B到70B不同尺寸的通用模型和領(lǐng)域模型，涵蓋了語言模型、多模態(tài)理解模型和多模態(tài)生成模型等。這些模型已被應(yīng)用在超過700個騰訊業(yè)務(wù)場景，展現(xiàn)了其強大的應(yīng)用潛力和價值。對外，Angel 平臺通過騰訊云輸出，廣泛應(yīng)用在大模型、廣告、推薦、社交、金融等領(lǐng)域，服務(wù)30萬行業(yè)客戶，助力實體行業(yè)進行數(shù)智化升級。

雷峰網(wǎng)(公眾號：雷峰網(wǎng))

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。