作者｜包永剛

編輯｜林覺民

DeepSeek的火熱，不僅點燃了資本與市場的激情，也讓AI推理的需求在短時間內(nèi)驟然升溫。需求膨脹的同時，產(chǎn)業(yè)內(nèi)部出現(xiàn)了兩種截然不同的判斷。

“我認為未來AI推理主要在云和端側，邊緣推理的需求會越來越小。”AI芯片公司的銷售晨坤認為，“因為邊緣AI的性能和成本都不占優(yōu)勢，會是一個過渡狀態(tài)。”

另一位資深芯片銷售嘉銘有不一樣的觀點，“端側提升AI性能，功耗和價格難以平衡，并不是一個好選擇。我認為邊緣AI推理的需求會持續(xù)增加?！?/p>

這種對未來格局的分歧，也折射出AI推理市場的不確定性。端、邊、云的占比至今難有定論，但可以明確，在泛安防這個巨大的端側AI推理市場，即便大模型掀起一場技術革命，格局依舊穩(wěn)固。占據(jù)市場份額的公司依然處于易守難攻的位置。

然而，AI算力需求100TOPS以上的邊緣推理市場，正悄然醞釀著一場變局。無論是待上市的摩爾線程、沐曦、燧原科技、天數(shù)智芯、登臨科技，還是已經(jīng)上市的云天勵飛，或者是發(fā)布了新品的江原科技、后摩智能，都試圖搶占AI推理市場的先機。

他們必須直面同一個強大的對手——英偉達4090。

“國產(chǎn)芯片沒有一款能全面超越英偉達4090，但通過極致的性能優(yōu)化，可以在特定領域實現(xiàn)超越英偉達4090的極致性價比?！奔毋懼毖?。這些特定領域包括信創(chuàng)、交通、能源、通信、消費等領域。

2025年的AI推理市場，是一場雙重博弈，既是國產(chǎn)芯片對英偉達4090的一次集體圍攻，也是一次攸關未來格局的關鍵卡位戰(zhàn)。

誰能從中切下更大的一塊蛋糕？獲取更多國產(chǎn)AI推理芯片的信息添加作者微信BENSONEIT互通有無。雷峰網(wǎng)

AI推理，邊緣和端側市場誰的空間更大？

無論是ChatGPT還是DeepSeek，當下最受關注的AI應用幾乎都依賴云端AI推理。在可預見的未來，云端依然會在AI發(fā)展中扮演核心角色。但云、邊、端三者究竟如何協(xié)同，業(yè)界存在明顯分歧。

在深入探討之前，有必要先明確：什么是云、邊、端？在CNN（卷積神經(jīng)網(wǎng)絡）時代，如果按算力劃分，小于8TOPS為端側，小于64TOPS為邊緣，大于64TOPS為云端。

然而，大模型正在重新定義端、邊、云的邊界。在本文中，將使用70B模型進行AI推理，單卡AI算力超過100TOPS@TF32，使用單臺或少量服務器的應用視為邊緣AI市場；小于10B模型的推理場景，則歸入端側市場。

“CNN時代之所以誕生邊緣計算，是因為泛安防場景下，一路攝像頭就需要4兆帶寬。帶寬不夠時，就必須在邊緣增加計算盒子?！背坷ふf，“當前的AI推理主要以文本為主，即便未來向多模態(tài)發(fā)展，也不再需要處理實時視頻流。端側小模型（10B以內(nèi)）完全可以滿足識別和檢測的需求。如果需要更高性能，直接調(diào)用云端AI就夠了。因此，未來邊緣推理的需求會逐漸下降?！?/p>

晨坤認為，隨著端側小模型能力不斷提升，邊緣AI在成本和性能上難以形成優(yōu)勢。生成式AI時代的推理需求，將主要由云端和端側主導。

嘉銘持不同觀點，在端側大幅增加AI算力的必要性并不高，因為功耗與性價比難以兼顧。他認為，邊緣AI推理的需求仍將保持快速增長。

江原科技董事長李瑛則認為，生成式AI時代的AI推理依舊會是云-邊-端協(xié)同的格局。

從市場角度出發(fā)，云天勵飛副總裁羅憶提出：“目前云端推理市場的絕對規(guī)模不大，但其占比正在逐步提升；相比之下，泛安防的邊緣和端側推理雖然體量巨大，但整體份額正在下降。等云端應用逐漸飽和后，端側推理的需求或將迎來新一輪增長。”

眼下，哪種觀點更為準確尚無法定論，但這并不妨礙對邊緣與端側市場格局進行判斷。

傳統(tǒng)端側推理市場易守難攻，新興AI應用還未爆發(fā)

在生成式AI席卷市場之前，AI推理最重要的戰(zhàn)場，是泛安防。經(jīng)歷多年激烈角逐后，這一市場格局已相對穩(wěn)定：華為、云天勵飛、登臨科技、算能科技、愛芯元智等公司各自握有優(yōu)勢。

“泛安防的邊緣和端側這個萬億級市場，已經(jīng)非常卷，增長也很緩慢?！背坷ふf。

羅憶也表示：“泛安防屬于典型的存量市場。目前最大的開銷是運維。在各地預算緊張的大背景下，預算首先保證運維開銷，剩余資金才可能投向少量新設備?！?/p>

今年，泛安防市場仍有一些大的設備更新的項目。

“設備都有使用年限。原本計劃5年更換的設備，一些地方用了8年，今年終于到了不得不更新的時候。”羅憶說，“不過各地做法不一：有的只是標清換高清，有的直接換成智能相機。從整體來看，智能攝像頭的滲透率依然很低。”

那么，設備更新疊加生成式AI的浪潮，是否會撼動這個龐大的端側AI市場？

羅憶判斷，“即便今年有大額訂單，由于市場格局已經(jīng)固化，除非新玩家?guī)眍嵏彩絼?chuàng)新，否則很難改變現(xiàn)有格局。”

泛安防端側推理市場需求分散，芯片類型繁多，有的擅長視頻編解碼，有的AI能力更強。經(jīng)過多年市場篩選，目前仍留在市場上的國產(chǎn)AI芯片公司，都已經(jīng)各自分得屬于自己的蛋糕。

晨坤也強調(diào)：“即便生成式AI帶來一些變化，新玩家切入成本極高?！?/p>

實際上，在泛安防市場的客戶目前更關注的是如何把有限的資源利用到極致。羅憶對此深有感觸，“能夠用有性價比的方式幫助客戶完成智能化升級，做更多精細化的工作，才能留住泛安防客戶?！?/p>

除了泛安防這個AI推理的大市場，生成式AI正在催生大量新應用——AI玩具、AI眼鏡、AI戒指，以及基于小模型的各種智能硬件，這些潛在產(chǎn)品將帶來新的端側AI芯片需求。

AI芯片公司的資深市場泰瑋說，“國內(nèi)已有老牌芯片公司押注了這一賽道，專為7B模型設計芯片?！?/p>

與端側相比，70B以下模型的邊緣推理芯片市場更受國產(chǎn)廠商關注，其成長性和潛力顯然更具吸引力。想要進一步探討端側AI添加作者微信BENSONEIT。

國產(chǎn)AI芯片圍攻英偉達4090，極致性價比的戰(zhàn)場

年初，DeepSeek的火熱再次點燃了各行各業(yè)將AI引入工作流的熱情。大模型一體機需求暴漲，邊緣AI推理市場也隨之升溫。

“48G的英偉達4090，是當前邊緣推理的王者?！奔毋懼毖?，“想讓客戶為國產(chǎn)芯片買單，就要做到超越4090的極致性價比。”

泰瑋對“極致性價比”有切身感受：“我們瞄準商業(yè)市場，但商業(yè)市場的客戶對成本有極致要求。他們甚至愿意用淘汰的英偉達3090、4090礦卡——這些二手GPU便宜得令人難以置信，但穩(wěn)定性堪憂。我們只能靠性價比與穩(wěn)定性，在這個市場與英偉達正面競爭。”

嘉銘也指出，4090確實具備性價比優(yōu)勢，但畢竟是消費級產(chǎn)品，不適合7×24小時連續(xù)運行。對于有合規(guī)要求、需要全天候運作的客戶，他們可能選擇英偉達L20，但使用量有限，性價比也不如4090。

國產(chǎn)AI芯片的優(yōu)勢，除了穩(wěn)定性，還在于大顯存和大帶寬。李瑛舉例：“運行滿血版DeepSeek時，8卡的4090服務器需要兩臺，而我們產(chǎn)品單臺就能跑滿血版DeepSeek，TCO（總體擁有成本）優(yōu)勢明顯?！?/p>

泰瑋也說，“我們一張售價5000元左右的加速卡，擁有128G的大顯存，運行30B量化模型速度可達20 token/s，性價比極高?！?/p>

Qwen3和DeepSeek量化模型的首字延遲和每秒Token數(shù)只是敲門磚。嘉銘強調(diào)：“如果這兩個指標不夠，說明TCO沒有優(yōu)勢。但也幾乎沒有客戶不因為這兩個指標直接下單，還需要在實際場景中測試性能?！?/p>

在具體場景下做極致的軟件優(yōu)化，是國產(chǎn)AI芯片實現(xiàn)超越4090的關鍵。

嘉銘表示：“芯片落地時一般三個關鍵流程，編譯、調(diào)精度、調(diào)性能。若是NPU等專用芯片架構，這三步每一步可能都需1–2個月，累計可能需要數(shù)月時間，GPGPU架構的芯片可大幅縮短落地時間，也降低了客戶的TCO?！?/p>

李瑛認為，“若兩種架構的芯片從零起步布局同一場景，GPGPU 因可依托已有的成熟生態(tài)體系，初期優(yōu)勢會比專用架構更突出。但隨著專用架構芯片在算子庫優(yōu)化、軟件生態(tài)構建等軟件領域積累足夠經(jīng)驗并達成成熟應用標準，且能充分滿足主流業(yè)務的實際需求，GPGPU 的原有優(yōu)勢將大幅減弱，不再具備明顯差異化特點?！?/p>

“在DeepSeek火爆之后，AI算子的種類已經(jīng)銳減，這時候只要把有限的算子優(yōu)化好，不僅能縮小GPGPU相比專用芯片在軟件生態(tài)方面的優(yōu)勢，如果做好了特定場景的算子優(yōu)化，還能實現(xiàn)相比GPGPU數(shù)倍的性價比優(yōu)勢。”李瑛進一步表示。

羅憶也說，“專用架構芯片雖然有專精領域，但適用場景會越來越廣?！?/strong>

華為Atlas 300I Duo已驗證了這一點，專用架構芯片只要適配好場景，就能體現(xiàn)強大性價比。

因此，對于國產(chǎn)AI推理芯片而言，要與4090競爭，必須依靠大顯存優(yōu)勢，同時針對客戶場景和使用模型進行優(yōu)化，實現(xiàn)極致性價比。

“國內(nèi)基于英偉達5090魔改的產(chǎn)品，性能調(diào)試已完成，很快將推向市場。性能比4090更強，價格接近，國產(chǎn)芯片還能有TCO或性價比優(yōu)勢嗎？”晨坤提出疑問。

嘉銘則保持樂觀：“我相信英偉達5090將成為新一代邊緣AI推理王者，但并非無懈可擊。國內(nèi)各家公司也在設計下一代產(chǎn)品，準備與5090正面競爭。”

跑馬未圈地，國產(chǎn)邊緣推理芯片的卡位戰(zhàn)

在下一代產(chǎn)品尚未上市之前，國產(chǎn)AI推理芯片公司的當務之急，是充分發(fā)揮現(xiàn)有產(chǎn)品優(yōu)勢，找到合適落地的場景。

國產(chǎn)替代需求最迫切的信創(chuàng)市場，成為了國產(chǎn)AI芯片最容易相遇的戰(zhàn)場。

“信創(chuàng)市場的規(guī)模沒有想象中那么大，也沒有那么容易進入?！?/strong>羅憶認為，“目前信創(chuàng)市場的剛需主要是CPU，滿足日常辦公需求，AI算力的需求還相對有限。再加上各地財政預算收縮，購買AI算力和設備的意愿并不高，因此現(xiàn)階段信創(chuàng)市場并不是AI推理芯片的理想賽道?！?/p>

李瑛對此樂觀一些，“信創(chuàng)市場確實存在挑戰(zhàn)，但也有機會。一方面，信創(chuàng)市場已經(jīng)啟動AI芯片測試報名，這意味著對AI算力的需求正在增長；另一方面，通過更靈活的產(chǎn)品形式，例如在PC上擴展加速卡，也能降低成本。”

雷峰網(wǎng)了解到，江原、沐曦、天數(shù)智芯都在信創(chuàng)市場尋找落地機會，同時積極拓展商業(yè)市場。

“醫(yī)療和能源市場也是我們重點關注的方向?！崩铉f，“醫(yī)療領域涉及大量敏感數(shù)據(jù)，這個領域的客戶對替換國產(chǎn)芯片也有比較高的意愿?！?/p>

在羅憶看來，AI推理市場存在兩個優(yōu)質(zhì)機會：一是互聯(lián)網(wǎng)大廠，這些企業(yè)走在AI技術前沿，對算力需求龐大；二是各行業(yè)頭部企業(yè)，這些公司也在數(shù)字化轉型前沿，對AI算力有更多剛需。

“云天勵飛現(xiàn)有的AI芯片能實現(xiàn)8TOPS-256TOPS算力，既能鞏固泛安防存量市場，也能面向增量市場。我們同時在規(guī)劃下一代產(chǎn)品，充分發(fā)揮后發(fā)者優(yōu)勢。”羅憶補充道，“作為上市公司，我們不僅有戰(zhàn)略決心，還擁有資金和人才優(yōu)勢。更重要的是，過去11年公司在智能硬件、智算中心、智慧城市等多個領域積累了大量實踐經(jīng)驗。這些寶貴的第一手資料，為芯片設計提供了明確指導?！?/p>

在泛安防市場站穩(wěn)腳跟的登臨科技，也將重點關注商業(yè)市場，在預算10萬元左右的客戶群中尋找對AI推理有實際需求的企業(yè)，比如中小企業(yè)。

走存算一體技術路線的后摩智能則瞄準不同賽道。后摩智能創(chuàng)始人兼CEO吳強說，“我們比較看重三個領域，一是平板和電腦這種消費終端類，這是大模型生產(chǎn)力工具，對AI性能有剛需。二是智能語音系統(tǒng)，大模型語音會議也是重點布局的一個方面。三是運營商的邊緣計算，看中了5G+AI的趨勢?！?/p>

吳強補充：“目前這三個方向已有早期客戶。我們精力有限，先把這幾塊做扎實，未來只要涉及大模型和對功耗敏感的應用場景，都會逐步拓展?！?/p>

整體來看，國內(nèi)AI芯片公司都在積極布局快速增長的大模型邊緣AI推理市場。羅憶形象地總結：“大家現(xiàn)在是在跑馬，但還沒有真正圈地。要成功圈地，必須與大客戶深度綁定。目前還沒有廠商做到這一點?！?/p>

在這場AI推理的競爭中，生態(tài)合作伙伴尤其關鍵，其中ISV（獨立軟件開發(fā)商）扮演不可替代的角色。相比芯片公司，ISV更了解客戶需求，也能在擅長的領域服務更多客戶。

若把芯片公司和ISV的合作比作“0到1”的工作，那么芯片公司優(yōu)化算子、提供高效編譯器，讓ISV開發(fā)解決方案，就是把AI從“1到100”實現(xiàn)規(guī)?；瘧玫倪^程。

這樣說來，通過一家AI芯片公司的軟件生態(tài)合作伙伴，不僅能了解其重點落地的領域，也能看出各家的競爭優(yōu)勢。

明年，切換全國產(chǎn)工藝的AI芯片將陸續(xù)發(fā)布，誰能在特定場景中發(fā)揮大顯存和極致性價比優(yōu)勢，誰就有機會贏得大客戶的深度綁定，也可能在端-邊-云格局中搶占更有利的位置。

可以預見，國產(chǎn)AI芯片的“圍攻戰(zhàn)”才剛剛開始。未來，隨著技術成熟、生態(tài)完善以及大模型應用的持續(xù)落地，誰能分到更大的蛋糕？關于國產(chǎn)AI推理芯片的更多討論，歡迎添加作者微信BENSONEIT。

注，文中晨坤、嘉銘、泰瑋均為化名 雷峰網(wǎng)(公眾號：雷峰網(wǎng))

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。