0
| 本文作者： 鄭佳美 | 2026-06-01 15:34 |
作者丨鄭佳美
編輯丨馬曉寧
大模型智能體正在從“會聊天”走向“會做事”。
在網(wǎng)頁搜索、工具調(diào)用、自動(dòng)辦公、軟件操作、具身機(jī)器人等場景中，智能體面對的不再是單輪問答，而是連續(xù)決策：它要理解任務(wù)目標(biāo)，選擇合適工具，執(zhí)行多個(gè)步驟，并根據(jù)環(huán)境反饋不斷調(diào)整行動(dòng)。
例如，一個(gè)家庭服務(wù)機(jī)器人要完成“把冷卻后的物品放到指定位置”，不能只知道“冷卻”是什么意思，還要先找到正確物體，判斷物體狀態(tài)，完成冷卻操作，再確認(rèn)是否放置成功；一個(gè)搜索問答智能體也不能只生成答案，而要先判斷問題類型，檢索證據(jù)，篩掉無關(guān)信息，再組織最終回答。
在這種行業(yè)背景下，外部技能逐漸成為 LLM agent 的重要能力來源。它們像是可復(fù)用的操作經(jīng)驗(yàn)，能夠幫助智能體處理復(fù)雜流程、長尾任務(wù)和容易出錯(cuò)的步驟。
但問題也隨之出現(xiàn)：技能是不是越多越好？如果一直把技能塞進(jìn)系統(tǒng)，智能體可能檢索到錯(cuò)誤技能，被無關(guān)信息干擾；如果追求“零技能推理”，又可能把一些低頻但關(guān)鍵的能力刪掉，導(dǎo)致復(fù)雜任務(wù)中失誤增加。也就是說，行業(yè)真正需要解決的不是“要不要技能”，而是“技能應(yīng)該怎樣被管理”。
針對這個(gè)問題，香港中文大學(xué)團(tuán)隊(duì)提出了《Dynamic Skill Lifecycle Management for Agentic Reinforcement Learning》，簡稱 SLIM。這項(xiàng)研究把外部技能看成一個(gè)有生命周期的能力系統(tǒng)，而不是固定不變的提示材料。SLIM 會在訓(xùn)練過程中判斷每個(gè)技能的真實(shí)貢獻(xiàn)：有用的技能繼續(xù)保留，貢獻(xiàn)變小的技能逐漸退休，當(dāng)前能力覆蓋不到的失敗場景再擴(kuò)展新技能。
這讓智能體的訓(xùn)練方式更接近真實(shí)工作中的能力管理。比如在 ALFWorld 這類長流程任務(wù)中，一些清潔、加熱、冷卻、狀態(tài)檢查相關(guān)技能仍然需要保留在外部，幫助智能體完成連續(xù)動(dòng)作；而在 SearchQA 這類搜索問答任務(wù)中，部分搜索和推理策略可能更容易被模型吸收，最終對外部技能的依賴就會降低。
SLIM 想回答的核心問題，正是大模型智能體走向復(fù)雜任務(wù)時(shí)繞不開的問題：哪些能力應(yīng)該寫進(jìn)模型，哪些能力應(yīng)該留在外部，哪些能力又應(yīng)該在失敗中被重新補(bǔ)上。
論文地址：https://arxiv.org/pdf/2605.10923
01
研究團(tuán)隊(duì)的實(shí)驗(yàn)結(jié)果顯示，SLIM 在整體表現(xiàn)上最好，平均超過最佳對比方法 7.1 個(gè)百分點(diǎn)，這說明提升不是偶然來自某一個(gè)任務(wù)，而是來自訓(xùn)練過程中對技能集合的動(dòng)態(tài)管理。
SLIM 的優(yōu)勢不是固定使用同一批技能，也不是單純增加技能數(shù)量，而是根據(jù)每個(gè)技能在不同階段的作用變化，決定哪些技能繼續(xù)保留，哪些技能刪除，哪些技能需要新增。
在 ALFWorld 上，SLIM成功率為 87.5，最強(qiáng)基線方法 SkillRL 為 75.0，提升較明顯。ALFWorld 的任務(wù)步驟長、動(dòng)作多、狀態(tài)變化明顯，智能體需要持續(xù)觀察環(huán)境、判斷物體狀態(tài)、選擇正確動(dòng)作，并按順序完成多個(gè)操作，所以這類任務(wù)仍然需要一部分外部技能輔助。
SLIM 在這個(gè)任務(wù)上表現(xiàn)更好，說明經(jīng)過篩選后留下的外部技能，能夠幫助智能體處理復(fù)雜流程和狀態(tài)變化。在 SearchQA 上，SLIM無論是否攜帶技能都為 41.0，最強(qiáng)非 SLIM 方法 Skill0 為 39.3，雖然也有提升，但不如 ALFWorld 明顯。
SearchQA 主要圍繞搜索、推理和回答展開，任務(wù)重點(diǎn)在于找到信息、組織推理路徑并輸出答案，所以外部技能更像訓(xùn)練階段的輔助，最終依賴較弱。帶技能和不帶技能的結(jié)果也能體現(xiàn)這種差異，ALFWorld 中帶技能明顯更好，說明它更依賴外部過程技能，SearchQA 中帶不帶技能差距很小，說明模型更容易把技能中的搜索和回答策略吸收到自身能力中。
訓(xùn)練過程中，不同方法的技能變化也很有代表性。SkillRL 的技能持續(xù)增加，說明它偏向不斷累積技能，但技能多并不一定更好，因?yàn)檫^多技能可能帶來檢索噪聲和上下文干擾。Skill0 的技能持續(xù)減少，最后變成零技能，說明它偏向把技能全部內(nèi)化到模型中，但這種方式可能會丟失低頻、長尾或復(fù)雜流程能力。雷峰網(wǎng)
SLIM 則先增加技能，再篩選技能，最后保留少量有效技能，并最終保留 21 個(gè)技能，說明最優(yōu)狀態(tài)不是技能越多越好，也不是技能全部刪除最好，而是保留仍然有實(shí)際貢獻(xiàn)的技能。
消融實(shí)驗(yàn)進(jìn)一步證明了這一點(diǎn)，去掉“退休”機(jī)制后性能明顯下降，說明只增加技能而不刪除無效技能會影響效果；去掉“擴(kuò)展”機(jī)制后性能也下降，說明只篩選已有技能還不夠，還需要補(bǔ)足當(dāng)前技能無法覆蓋的失敗情況；隨機(jī)管理技能效果更差，說明技能增刪不能隨意進(jìn)行。
固定技能數(shù)量也不如 SLIM，說明關(guān)鍵不是簡單控制技能數(shù)量，而是根據(jù)技能貢獻(xiàn)決定保留、刪除和擴(kuò)展。案例分析結(jié)果也支持這個(gè)結(jié)論，有些技能使用頻率高，但貢獻(xiàn)已經(jīng)很小，可能已經(jīng)被模型學(xué)會或被其他技能替代；有些技能使用頻率不高，但在特定任務(wù)中非常關(guān)鍵，不能因?yàn)榈皖l就刪除。
還有些新擴(kuò)展出來的技能，后期也可能變得冗余，說明新增技能并不代表永久保留。因此，是否保留技能不能只看使用次數(shù)，更重要的是看禁用某個(gè)技能后，任務(wù)表現(xiàn)是否明顯變差。
02
研究團(tuán)隊(duì)的實(shí)驗(yàn)?zāi)繕?biāo)，是驗(yàn)證 SLIM 是否優(yōu)于傳統(tǒng)技能使用方式。實(shí)驗(yàn)主要對比了三種思路，一種是普通 RL，重點(diǎn)放在訓(xùn)練 policy 上，一種是技能累積，也就是不斷增加外部技能，還有一種是技能內(nèi)化，也就是逐漸刪除外部技能。雷峰網(wǎng)(公眾號：雷峰網(wǎng))
圍繞這些對比，研究真正想回答的問題是，LLM agent 在訓(xùn)練過程中，外部技能到底要怎樣變化。實(shí)驗(yàn)使用的基礎(chǔ)模型是 Qwen3-4B，任務(wù)包括 ALFWorld 和 SearchQA，其中 ALFWorld 是模擬家庭環(huán)境任務(wù) ，更偏動(dòng)作執(zhí)行，SearchQA 是搜索問答任務(wù)，更偏信息檢索和推理。
這樣設(shè)置的目的，是觀察 SLIM 在不同類型任務(wù)中是否都能發(fā)揮作用。實(shí)驗(yàn)對比對象也比較全面，包括提示類方法 Zero-Shot、Few-Shot，agent 類方法 ReAct、Reflexion，memory 類方法 Mem0、ExpeL，RL 類方法 GRPO、EvolveR，技能類方法 SkillRL、Skill0，以及研究提出的 SLIM。對比范圍較廣，所以能夠說明 SLIM 不是只比某一類較弱的 baseline 好，而是在多種方法體系中都有競爭力。
SLIM 的基本訓(xùn)練流程可以理解為一個(gè)不斷循環(huán)的過程。首先，系統(tǒng)會根據(jù)當(dāng)前任務(wù)檢索相關(guān)技能，然后讓 agent 帶著這些技能去執(zhí)行任務(wù)，接著用 GRPO 更新 policy。訓(xùn)練一段時(shí)間后，系統(tǒng)會進(jìn)入技能審計(jì)階段，也就是檢查不同技能在當(dāng)前訓(xùn)練狀態(tài)下還有沒有價(jià)值。
審計(jì)完成后，再決定技能是繼續(xù)保留、刪除，還是新增。技能檢索時(shí)，技能被分成兩類，一類是通用技能，適合多種任務(wù)中的策略，另一類是任務(wù)專屬技能，針對某類任務(wù)中的具體操作方法。每次任務(wù)只會從當(dāng)前 active skill set 里檢索相關(guān)技能，而不是把所有技能全部塞進(jìn) prompt，這樣可以減少無關(guān)技能帶來的干擾。
在判斷技能貢獻(xiàn)時(shí)，SLIM 使用的核心方法是 leave-one-skill-out 驗(yàn)證，即臨時(shí)禁用某個(gè)技能，然后比較禁用前后的驗(yàn)證表現(xiàn)。如果禁用后表現(xiàn)明顯下降，說明這個(gè)技能仍然有價(jià)值。如果禁用后表現(xiàn)幾乎不變，說明相關(guān)能力可能已經(jīng)被模型學(xué)會。如果禁用后表現(xiàn)變好，說明這個(gè)技能可能產(chǎn)生干擾。
通過這種方式，研究團(tuán)隊(duì)可以估計(jì)技能的邊際外部貢獻(xiàn)。根據(jù)貢獻(xiàn)結(jié)果，SLIM 會執(zhí)行三種操作。Retain 指保留技能，適用于技能仍然明顯提高任務(wù)表現(xiàn)的情況，作用是讓有用的外部能力繼續(xù)參與后續(xù)任務(wù)，尤其適合步驟復(fù)雜、容易出錯(cuò)的任務(wù)流程。
Retire 指退休技能，適用于技能貢獻(xiàn)長期很低的情況，可能原因包括模型已經(jīng)學(xué)會相關(guān)能力，其他技能已經(jīng)覆蓋它，技能信息過時(shí)，或者技能會干擾決策，作用是減少無效技能帶來的噪聲和上下文負(fù)擔(dān)。Expand 指擴(kuò)展技能，適用于某些任務(wù)區(qū)域持續(xù)失敗的情況，這說明當(dāng)前技能庫覆蓋不足，所以系統(tǒng)會從失敗案例中總結(jié)新技能，用來補(bǔ)足原有技能庫沒有覆蓋到的能力。
這個(gè)擴(kuò)展過程不是盲目增加技能，而是根據(jù)失敗模式進(jìn)行補(bǔ)充。最終推理時(shí)，訓(xùn)練已經(jīng)完成，系統(tǒng)會使用最終保留下來的技能集合，只檢索相關(guān)技能，不再繼續(xù)執(zhí)行保留、退休和擴(kuò)展。實(shí)驗(yàn)中對比了 SLIM 攜帶技能和沒有攜帶技能兩種情況，兩者對比可以觀察模型最終是否仍然依賴外部技能。
03
研究的意義首先在于重新思考“技能持續(xù)累積”這種做法。SkillRL 一直增加技能，表面上看外部知識變多了，但實(shí)際使用時(shí)可能帶來新的問題。技能過多會讓檢索更容易選錯(cuò)，prompt 中也會出現(xiàn)更多無關(guān)信息，agent 甚至可能被錯(cuò)誤技能誤導(dǎo)，所以技能庫并不是越大越好。
其次，研究也反思了“零技能推理”這種做法。Skill0 試圖把技能全部內(nèi)化進(jìn)模型，一部分技能確實(shí)可以被模型學(xué)會，但并不是所有技能都適合且能夠放進(jìn)模型參數(shù)里。低頻技能、長尾技能和復(fù)雜流程技能，可能仍然需要保留在外部，如果強(qiáng)制刪除全部技能，就容易損失一些局部但關(guān)鍵的能力。
SLIM 的核心價(jià)值就在于，它不假設(shè)技能必須一直增加，也不假設(shè)技能最終必須全部消失，而是讓技能根據(jù)貢獻(xiàn)動(dòng)態(tài)變化，有用的繼續(xù)保留，無用的逐漸刪除，缺失的重新擴(kuò)展，這更接近真實(shí) agent 訓(xùn)練中的能力管理過程。
從模型參數(shù)和外部技能的分工來看，常見能力適合被模型參數(shù)吸收，重復(fù)出現(xiàn)的簡單流程適合逐漸內(nèi)化，低頻但重要的流程適合外部保留，當(dāng)前技能庫沒有覆蓋的能力則適合新增技能。因此，SLIM 實(shí)際上是在學(xué)習(xí)“哪些能力放進(jìn)模型，哪些能力留在外部”。
這也給 agentic RL 帶來啟發(fā)，傳統(tǒng) RL 主要優(yōu)化 policy，而 SLIM 同時(shí)優(yōu)化 policy 和外部技能集合，使 agent 不只是學(xué)會做任務(wù)，還學(xué)會什么時(shí)候需要外部幫助，因此更適合復(fù)雜任務(wù)、長流程任務(wù)和工具使用任務(wù)。
不同任務(wù)也需要不同的技能管理方式，ALFWorld 更需要保留外部技能，因?yàn)槿蝿?wù)涉及連續(xù)動(dòng)作、環(huán)境狀態(tài)和順序約束，SearchQA 更容易把技能轉(zhuǎn)化為模型策略，因?yàn)槿蝿?wù)更偏搜索與回答模式，所以不能統(tǒng)一采用“全保留”或“全刪除”。
總體來看，SLIM 提供了一種更靈活的技能生命周期管理方法，在訓(xùn)練過程中動(dòng)態(tài)調(diào)整外部技能，最終形成一個(gè)精簡但有效的技能集合，既避免技能過多造成干擾，也避免技能過少導(dǎo)致能力缺失。研究的核心貢獻(xiàn)，是把外部技能集合從固定輔助工具，變成可以和 policy 一起優(yōu)化的訓(xùn)練對象。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
