2024 年 6 月 6 日中國計算機(jī)學(xué)會大模型論壇（CCF FoLM）主題會議在北京順利舉辦。本次會議主題為“大模型技術(shù)進(jìn)展與挑戰(zhàn)”，各位專家圍繞大模型技術(shù)的前沿動態(tài)、發(fā)展趨勢及技術(shù)挑戰(zhàn)等議題展開深入探討，為廣大從業(yè)者、研究者提供了一場豐富的學(xué)術(shù)盛宴。本次會議還宣布了“CCF 大模型安全挑戰(zhàn)賽”的正式啟動！

2024 年 6 月 6 日，中國計算機(jī)學(xué)會大模型論壇（CCF FoLM）主題會議在北京清華科技園科技大廈舉辦。

CCF 大模型論壇于今年 3 月正式成立，由騰訊、中國移動、三六零集團(tuán)、海光信息、智譜AI、第四范式、稀宇科技、并行科技、無問芯穹、瑞萊智慧科技、生數(shù)科技、清程極智、麥伽智能、面壁智能、聆心智能共同發(fā)起，旨在建設(shè)專注于大模型研究與應(yīng)用的領(lǐng)先智庫和高效交流平臺，促成國內(nèi)大模型的生態(tài)合力，共同推進(jìn)大模型技術(shù)的前沿發(fā)展和應(yīng)用。

本次會議上午部分由 CCF 大模型論壇學(xué)術(shù)秘書、復(fù)旦大學(xué)邱錫鵬教授主持，下午部分由 CCF 大模型論壇學(xué)術(shù)秘書、清華大學(xué)東昱曉教授主持。

圖｜邱錫鵬主持開場

CCF 杰出會員、常務(wù)理事、CCF 大模型論壇副主席、中國人民大學(xué)人工智能學(xué)院院長文繼榮教授作開幕式致辭。

圖｜文繼榮作開幕致辭

智譜AI GLM 技術(shù)團(tuán)隊研究員顧曉韜、清華大學(xué)長聘教授、國家杰青黃民烈、華為語音語義首席科學(xué)家劉群、復(fù)旦大學(xué)計算機(jī)學(xué)院教授邱錫鵬、阿布扎比技術(shù)創(chuàng)新研究所研究員 Quentin Malartic、清華大學(xué)電子工程系長聘教授、系主任汪玉、清華大學(xué)計算機(jī)系長聘教授、清華大學(xué)計算機(jī)系高性能所副所長翟季冬、清華大學(xué)計算機(jī)系博世 AI 教授、清華大學(xué)人工智能研究院副院長朱軍、哈爾濱工業(yè)大學(xué)計算學(xué)部長聘教授，人工智能研究院副院長車萬翔等大模型領(lǐng)域?qū)＜覍W(xué)者受邀出席并做主題報告。（按姓名拼音首字母排序）

來自阿布扎比技術(shù)創(chuàng)新研究所的 Quentin Malartic 博士發(fā)表了主題報告《The Falcon Series of Open Language Models》，他主要講解了 Falcon 模型的研究進(jìn)展，包括數(shù)據(jù)處理、訓(xùn)練分解、模型架構(gòu)，以及如何去構(gòu)建對話樹來進(jìn)行研究。他還介紹了對于 Falcon 模型的評價細(xì)節(jié)，以及視覺語言模型的情況。

圖｜Quentin Malartic 作主題報告

CCF大模型論壇常委會員、清華大學(xué)黃民烈教授圍繞大語言模型尤其是中文大語言模型的對齊和超級對齊問題，闡述了其在弱到強(qiáng)泛化（weak-to-strong generalization）、規(guī)模化監(jiān)督（scalable oversight）、精確對齊、黑盒對齊、模型權(quán)重外插、自動紅隊測試等方面的工作。

圖｜黃民烈作主題報告

清華大學(xué)汪玉教授的報告聚焦于大模型時代下軟硬件系統(tǒng)方面的關(guān)鍵挑戰(zhàn)和發(fā)展現(xiàn)狀，向參會嘉賓們介紹了面向 AI 2.0 的高能效電路與系統(tǒng)設(shè)計方法，包括從算法模型優(yōu)化到硬件架構(gòu)設(shè)計的一系列軟硬件協(xié)同優(yōu)化策略。在報告中，他還簡要介紹了 AI 2.0 時代算力生態(tài)建設(shè)的初步探索，并對未來發(fā)展趨勢進(jìn)行展望。

圖｜汪玉作主題報告

智譜AI 顧曉韜博士，針對 Agent 這一領(lǐng)域，介紹了 Agent 能夠感知環(huán)境、理解任務(wù)、規(guī)劃步驟、調(diào)用工具、執(zhí)行動作從而完成復(fù)雜任務(wù)的能力特點(diǎn)，并向大家概述了 GLM 技術(shù)團(tuán)隊面向 Agent 能力從評測、優(yōu)化、多模態(tài)能力等方向做的技術(shù)嘗試和探索。

圖｜顧曉韜作主題報告

CCF 大模型論壇副主席、華為語音語義首席科學(xué)家劉群教授介紹了華為盤古大模型的技術(shù)和應(yīng)用概況，并講述了盤古語言大模型開發(fā)過程中采用的一些核心技術(shù)和面臨的挑戰(zhàn)，具體包括模型架構(gòu)、訓(xùn)練優(yōu)化、推理加速、自我提升等方面。

圖｜劉群作主題報告

CCF大模型論壇執(zhí)行委員、清華大學(xué)朱軍教授介紹了多模態(tài)擴(kuò)散概率模型在圖像、3D 和視頻生成的最新進(jìn)展，重點(diǎn)介紹了 Vidu 視頻大模型的三大更新：（1）首發(fā)一鍵生成 32s 長視頻；（2）發(fā)布視頻/文本到音頻生成技術(shù)，Vidu 生成的視頻有聲音了；（3）Vidu4D——從 Vidu 生成的視頻通過高效重建，生成 4D 的視頻。

圖｜朱軍作主題報告

CCF大模型論壇常務(wù)會員、哈爾濱工業(yè)大學(xué)車萬翔教授指出現(xiàn)有的思維鏈研究仍面臨兩大挑戰(zhàn)：（1）缺乏對思維鏈能力評估的定量指標(biāo)；（2）缺乏對思維鏈能力優(yōu)化的指導(dǎo)。為此，他們引入了一種新穎的“推理粒度”框架來解釋思維鏈技術(shù)的機(jī)理，并使用該框架改進(jìn)思維鏈的推理能力。進(jìn)一步地，通過在眾多模型和任務(wù)上的實驗，表明了該框架的存在性和合理性。此外，該框架還能夠用于解釋多種思維鏈策略的有效性，并能夠從兩個角度共同指導(dǎo)思維鏈策略的優(yōu)化。

圖｜車萬翔作主題報告

CCF大模型論壇執(zhí)行會員、清華大學(xué)翟季冬教授就當(dāng)前大模型技術(shù)不斷發(fā)展，其對算力的需求持續(xù)增大的這一問題展開討論，并指出當(dāng)前中國在獲取最先進(jìn)的芯片方面面臨巨大的挑戰(zhàn)。如何充分發(fā)揮國產(chǎn)算力硬件性能，讓國產(chǎn)算力易用好用，滿足大模型對算力的需求具有重要意義。針對此挑戰(zhàn)，他們團(tuán)隊在國產(chǎn)智能算力上開展核心基礎(chǔ)軟件相關(guān)研究。其中，在新一代國產(chǎn)超級計算機(jī)上，他們從編譯器、算子庫、并行加速和負(fù)載均衡等方面對大模型進(jìn)行了深入優(yōu)化，優(yōu)化后的訓(xùn)練性能達(dá)到 EFLOPS。

圖｜翟季冬作主題報告

邱錫鵬教授則從大語言模型展現(xiàn)了通用人工智能助手廣闊的研究和應(yīng)用前景，但仍存在一定不足的這一問題出發(fā)，向大家介紹了大語言模型 MOSS 2 的研發(fā)進(jìn)展以及關(guān)鍵技術(shù)，包括高效模型架構(gòu)、多模態(tài)擴(kuò)展、工具使用，最終實現(xiàn)可交互、可學(xué)習(xí)、可解釋的世界模型。

圖｜邱錫鵬作主題報告

此外，本次會議還舉辦了兩場別開生面的 Debates。黃民烈（清華大學(xué)）、俞濤（零一萬物聯(lián)合創(chuàng)始人）、顧曉韜（智譜AI 算法研究員）、李伯勛（無問芯穹算法負(fù)責(zé)人）、曾國洋（面壁智能 CTO）、何家傲（清華大學(xué)博士研究生）等來自不同領(lǐng)域的專家學(xué)者，就「超級對齊的本質(zhì)是什么？」、「Maas 是個偽命題嗎？」等問題，展開了現(xiàn)場交鋒，為廣大參會者呈現(xiàn)了一場精彩且深刻的思想探討。兩場 Debates 分別由邱錫鵬教授、CCF大模型論壇主席唐杰教授主持。

「超級對齊的本質(zhì)是什么」

圖｜Debate 現(xiàn)場

超級對齊的本質(zhì)是大模型自我進(jìn)化、迭代的過程

黃民烈：超級對齊本質(zhì)上應(yīng)該是怎么樣實現(xiàn)一個大模型的自我進(jìn)化、自我迭代的學(xué)習(xí)過程。目前還是非常初步的嘗試，很多東西沒有做，但需要堅信不移地一步一步從小的嘗試開始，逐步實現(xiàn)真正發(fā)現(xiàn)模型弱點(diǎn)，并進(jìn)行自動修復(fù)。

超級對齊是機(jī)器的自我演化，通過反饋提升自己的方式

文繼榮：大家認(rèn)為，現(xiàn)在的階段，或可預(yù)見的階段，對齊尤其超級對齊還是非常重要的。我們需要重視大模型的安全性，尤其是模型智力水平越來越高的時候，將來會不會出現(xiàn)失控的風(fēng)險，所以對齊很重要。
當(dāng)“超級對齊”這個詞出來的時候，大家就要意識到，不再只是簡單跟人類價值觀對齊了，它現(xiàn)在已經(jīng)漸漸從關(guān)注模型安全，變成了一種通過反饋來提升自己的方式，實現(xiàn)機(jī)器自我演化。另外，過度的對齊也可能損害模型的能力和“人性”。
超級對齊的技術(shù)預(yù)研是非常重要的

俞濤：我們在對齊 GPT-4 水平模型的過程中，主要方法是基于人類專家反饋數(shù)據(jù)的強(qiáng)化學(xué)習(xí)。但人類將無法規(guī)?；貫橄乱淮Ｐ吞峁┛煽康谋O(jiān)督信號，或者給予反饋的效率遠(yuǎn)遠(yuǎn)低于 AI 迭代的效率，因此我們目前的對齊技術(shù)不能擴(kuò)展到超級智能。我們需要做好超級對齊的研究和技術(shù)預(yù)研，包括 weak-to-strong generalization（從弱到強(qiáng)的泛化）、可解釋性（可解釋性）、scalable oversight（可擴(kuò)展的監(jiān)督），為 AGI 的到來做好準(zhǔn)備。

超級對齊要實現(xiàn)讓語言模型真正為我們服務(wù)

劉群：大模型純粹是從語言文本訓(xùn)練出來的，作為對齊，要把語言空間的東西跟這兩個空間對齊起來。我們說安全的時候，更多考慮的是跟意識世界的對齊，跟物理世界的對齊同樣重要。我們要對客觀世界反饋，不光是安全的問題，在技術(shù)上來說是很類似的。研究超級對齊，是讓語言模型真正為我們服務(wù)，反映真正的客觀世界、真正的意識世界，這是它有用的地方。
超級對齊的終極目標(biāo)具有重要意義

顧曉韜：AI 行業(yè)對超級對齊的關(guān)注首先說明 AI 技術(shù)發(fā)展確實到了一個新的高度。超級對齊除了考慮未來超級智能可控性的問題，也包括人類監(jiān)督到達(dá)瓶頸后通過模型與外部環(huán)境自主交互等方式獲取監(jiān)督信號去進(jìn)一步提升智能水平的途徑，核心目標(biāo)還是加深我們對智能本身的理解。

「MaaS是個偽命題嗎？」

圖｜Debate 現(xiàn)場

從云和端的角度去看，MaaS在未來的應(yīng)用會非常大

李伯勛：如果我們從云的角度來講，我更希望看到很多國產(chǎn)芯片在這方面做到更高的性價比。從端上看，未來 MaaS 會有很多端上的應(yīng)用。對硬件改造比較大，例如如何用更低成本提高存儲帶寬。

MOE是未來大模型發(fā)展中比較重要的方向

何家傲：MOE 還是未來比較重要的方向，以目前的硬件架構(gòu)來講，MOE 是一種最適合的稀疏結(jié)構(gòu)，MOE 是為了讓模型做的很大，如果涉及到多機(jī)，比如要用幾千、上萬張卡去訓(xùn)練，并行策略會帶 MOE 負(fù)載下面造成更多性能上的影響。

MOE模型效果在逐步提升，值得看好

曾國洋：MOE 的訓(xùn)練技術(shù)也是在不斷發(fā)展的。我們最開始都嘗試過 MOE，但是那個時候大家的訓(xùn)練技術(shù)也不是特別好，訓(xùn)練出來的 MOE 比真正的大參數(shù)量模型有非常多的距離。隨著技術(shù)越來越提升，我們得到了 MOE 模型效果也會逐漸提升。MOE 是值得看好的，也是有必要做的。

「CCF大模型安全挑戰(zhàn)賽」正式啟動 

會議進(jìn)行過程中，清華大學(xué)教授黃民烈代表清華大學(xué)基礎(chǔ)模型研究中心宣布了CCF大模型安全挑戰(zhàn)賽的正式啟動，該賽事由中國計算機(jī)學(xué)會（CCF）作為主辦單位， 中國計算機(jī)學(xué)會大模型論壇（CCF FoLM）作為承辦單位，攜手清華大學(xué)基礎(chǔ)模型研究中心。
賽事設(shè)置了兩個賽道任務(wù)：「通用的大模型目標(biāo)劫持」和「內(nèi)容安全檢測器的紅隊攻擊」。誠摯邀請各方專家和學(xué)者積極參與大模型安全挑戰(zhàn)賽，共同探索解決這些安全問題的創(chuàng)新方法和策略，為大模型技術(shù)的健康發(fā)展保駕護(hù)航。

圖｜黃民烈教授發(fā)布 CCF 大模型安全挑戰(zhàn)賽

下午會議結(jié)束后，根據(jù)《CCF 大模型論壇條例》，現(xiàn)場閉門召開了 CCF 大模型論壇 FoLM 常務(wù)委員會擴(kuò)大會議。

雷峰網(wǎng)(公眾號：雷峰網(wǎng))

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。