0
過去幾年，大模型幾乎都依賴 Transformer，它支撐了 GPT、Claude、Gemini 等一眾前沿模型的進步，但也一直被詬?。阂坏┪谋咀冮L，計算量和內(nèi)存消耗就會成倍膨脹，百萬級 token 幾乎不可承受。與此同時，大模型訓練幾乎完全依賴 NVIDIA 的 GPU 體系。從算力到軟件棧，整個行業(yè)被牢牢綁定在 CUDA 上，硬件自主化成了遲遲邁不過去的門檻。
正因為如此，業(yè)界一直在尋找“下一條路”。有人嘗試混合架構，有人研究稀疏專家，也有人試水類腦計算。但這些探索往往停留在小規(guī)模實驗，很少能真正跑到大模型層面。
直到最近，中科院團隊拋出了一篇新論文，提出了一個全新系列的類腦大模型 SpikingBrain。他們通過引入 spiking 神經(jīng)元、線性注意力和稀疏專家機制，不僅在超長文本處理上實現(xiàn)了 百倍加速，還首次在 國產(chǎn) GPU 平臺 MetaX 上穩(wěn)定訓練出 76B 規(guī)模的模型。
同時，SpikingBrain 的問世也證明了大模型并不是只能依賴 Transformer + NVIDIA 的組合，另一條通往未來的道路正在被打開。
論文鏈接：https://www.arxiv.org/pdf/2509.05276
在實驗中，研究團隊在超長上下文任務上取得了突破性成果。以 SpikingBrain-7B 為例，當輸入長度達到 400 萬 token 時，其 Time-to-First-Token（首個 token 生成延遲）比傳統(tǒng) Transformer 快了 100 倍。換句話說，原本需要長時間等待的超長文本任務，如今幾乎可以做到即時響應。
由于脈沖神經(jīng)元只在必要時才會“放電”，模型在推理過程中保持了 69.15% 的稀疏激活率——也就是說，大多數(shù)神經(jīng)元在大部分時間處于靜默狀態(tài)，不參與計算。相比始終全量激活的 lf，這種機制顯著降低了算力消耗和能耗。
在訓練規(guī)模上，研究團隊共使用 1500 億 token，先后訓練了兩個核心模型：SpikingBrain-7B 和 SpikingBrain-76B。盡管所用數(shù)據(jù)量遠少于許多主流開源大模型，這兩款模型在多項基準測試中的表現(xiàn)依然能夠接近，甚至在部分任務上追平傳統(tǒng) Transformer。雷峰網(wǎng)(公眾號：雷峰網(wǎng))
更關鍵的是，這些訓練完全在 國產(chǎn) MetaX C550 GPU 集群上完成。實驗結果顯示，7B 模型在該平臺上達到了 23.4% 的 FLOPs 利用率，充分證明了它在非 NVIDIA 硬件環(huán)境下依舊能夠保持穩(wěn)定高效的運行。
為了實現(xiàn)這些結果，研究團隊在模型結構、訓練方法和系統(tǒng)工程三個層面都做了實驗探索。
在架構實驗中，團隊對傳統(tǒng) Transformer 做了關鍵改造。首先，他們將全連接注意力替換為 線性注意力和混合注意力，從根本上緩解了計算復雜度隨序列長度平方級增長的瓶頸。
與此同時，他們引入了 spiking 神經(jīng)元，讓模型像大腦一樣“按需放電”：只有在需要時才被激活，大多數(shù)時間保持靜默。這種類腦機制帶來了天然的稀疏性，大幅降低了無效計算，是 SpikingBrain 在能效上實現(xiàn)提升的關鍵所在。
而在系統(tǒng)實驗中，最棘手的挑戰(zhàn)來自硬件環(huán)境。團隊沒有沿用 NVIDIA 的成熟體系，而是選擇在國產(chǎn) MetaX GPU 集群上完成全部訓練。
為了讓大模型在這一平臺穩(wěn)定運行，他們對底層系統(tǒng)進行了大規(guī)模優(yōu)化：重寫關鍵算子庫，改造分布式通信機制，并針對長時間訓練中常見的內(nèi)存溢出與死鎖問題設計了專門的解決方案。
憑借這些工程改造，SpikingBrain 不僅在數(shù)百張 MetaX GPU 上成功完成了 7B 模型的穩(wěn)定訓練，還順利擴展到 76B 參數(shù)規(guī)模，并在此基礎上引入 MoE 稀疏專家機制，進一步提升了模型的性能與效率。
到了訓練實驗環(huán)節(jié)，為了讓新架構真正跑通，團隊設計了一個 conversion-based pipeline，把 Transformer 成熟的訓練經(jīng)驗遷移到 SpikingBrain。配合事件觸發(fā)的 spike 編碼，模型中的脈沖神經(jīng)元依然可以通過反向傳播學習，避免了“不可微”帶來的訓練障礙。通過這種遷移式實驗設計，他們在保證穩(wěn)定性的同時，也逐步擴展了模型規(guī)模。
總體來看，SpikingBrain 的價值不只是跑通了一個新模型，而是用系統(tǒng)性的嘗試回應了當下大模型最核心的幾個痛點。它在百萬級 token 的長文本上實現(xiàn)了數(shù)量級的加速，說明類腦機制在大規(guī)模模型里并不是紙上談兵，而是能帶來真實收益的方向。雷峰網(wǎng)
同時，它第一次在國產(chǎn) GPU 上完成了 76B 規(guī)模訓練，讓人看到大模型不一定要綁死在 CUDA 上，硬件路線其實有多種可能。再加上稀疏激活機制顯著降低了能耗，SpikingBrain 給“大模型能否可持續(xù)”這個老問題提供了一個新答案。
當然，SpikingBrain 暫時還不能取代 Transformer，它更像是給行業(yè)提供了一個全新的實驗樣本：證明大模型還有其他路徑可走。至于它能否在更復雜任務、更大規(guī)模下保持穩(wěn)定，以及類腦機制能否發(fā)展成成熟的工具鏈，還需要時間和進一步驗證?！?/p>
但至少現(xiàn)在，我們已經(jīng)看到，大模型的發(fā)展并不是只有一條路，新的路徑正在一點點被點亮。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。
