全球頭部開(kāi)源模型方的共同選擇，印證了一款底層框架的硬實(shí)力。趨境科技與清華共同開(kāi)源的KTransformers，已成為Qwen、Kimi、智譜AI等多個(gè)主流大模型發(fā)布首日的推薦推理引擎，其工程實(shí)踐與兼容性也被多家一體機(jī)產(chǎn)品線采納，成為被開(kāi)發(fā)者、廠商與開(kāi)源社區(qū)廣泛復(fù)用的共建式底層框架。

技術(shù)與生態(tài)雙認(rèn)可：成功入選 “計(jì)算機(jī)系統(tǒng)領(lǐng)域奧斯卡” SOSP 2025

KTransformers 是一個(gè)高性能異構(gòu)推理框架，專(zhuān)注于高效利用底層 GPU、CPU、內(nèi)存等多樣化算力，讓大模型在更低算力、更靈活的硬件架構(gòu)上高效運(yùn)行。其論文《KTransformers: Unleashing the Full Potential of CPU/GPU Hybrid Inference for MoE Models》成功入選 “計(jì)算機(jī)系統(tǒng)領(lǐng)域奧斯卡” SOSP 2025，該頂會(huì)過(guò)去幾十年間見(jiàn)證了虛擬化、分布式文件系統(tǒng)等無(wú)數(shù)里程碑式技術(shù)成果的首次亮相，此次入選標(biāo)志著 KTransformers 的技術(shù)實(shí)力獲得全球頂尖認(rèn)可。

11月6日，月之暗面發(fā)布Kimi-K2-Thinking 模型后，KTransformers迅速完成全面適配，支持用戶(hù)在單卡環(huán)境下完成推理任務(wù)，2卡環(huán)境下完成LoRA微調(diào)任務(wù)，大幅降低部署與定制化門(mén)檻。同時(shí)，趨境科技也已完成該模型在昇騰NPU上的全面適配，提供完善的全國(guó)產(chǎn)化推理解決方案，進(jìn)一步拓寬其應(yīng)用場(chǎng)景。

推理與微調(diào)雙高效：KTransformers+SGLang實(shí)現(xiàn)高性能推理部署

在推理部署層面，KTransformers與主流推理框架SGLang于10月達(dá)成合作，雙方架構(gòu)合入同一分支。在Kimi-K2-1TB的模型推理任務(wù)中，用戶(hù)僅需簡(jiǎn)單安裝SGLang與KTransformers CPU內(nèi)核，下載官方模型及量化權(quán)重，即可通過(guò)一條命令啟動(dòng)服務(wù)，且僅需單張消費(fèi)級(jí) GPU+CPU。這一合作融合了GPU+CPU異構(gòu)推理創(chuàng)新模式與全GPU傳統(tǒng)推理模式，推動(dòng)大模型推理向更高性能、更低成本演進(jìn)，邁向更廣泛的產(chǎn)業(yè)落地。

在微調(diào)部署層面，KTransformers與LLaMA-Factory深度集成，支持LoRA等輕量級(jí)微調(diào)方法，僅占用約41 GB顯存+2T內(nèi)存，就能實(shí)現(xiàn)46.55 token/s的微調(diào)吞吐量。傳統(tǒng)上，LoRA 微調(diào)千億模型成本高達(dá)數(shù)百萬(wàn)，而趨境的異構(gòu)微調(diào)能力將資源需求降低到單個(gè)消費(fèi)級(jí) GPU（如 RTX 4090）起，讓高校、中小型實(shí)驗(yàn)室、初創(chuàng)公司甚至個(gè)人開(kāi)發(fā)者都能參與大模型定制。該方案在 DeepSeek-14B 模型上展現(xiàn)了超過(guò)傳統(tǒng)方案 1.8 倍的吞吐、顯存占用降低 82%，是消費(fèi)級(jí)顯卡上微調(diào)超大參數(shù) MoE 模型的唯一可行方案。

對(duì)趨境科技而言，KTransformers承載的是 “普惠頂尖AI智能與隱私” 的價(jià)值理念。大模型時(shí)代需要更廣譜的推理基礎(chǔ)設(shè)施路線，趨境已與多個(gè)國(guó)產(chǎn) CPU、GPU硬件平臺(tái)合作，推進(jìn)全國(guó)產(chǎn)高性?xún)r(jià)比方案；為數(shù)十家行業(yè)開(kāi)發(fā)伙伴提供算力底座，讓更多團(tuán)隊(duì)用得起、調(diào)得動(dòng)大模型。今天的KTransformers，已讓大模型推理脫離高端算力壟斷；未來(lái)，趨境將繼續(xù)推動(dòng) AI 能力普惠，讓大模型真正融入各類(lèi)業(yè)務(wù)場(chǎng)景。

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。