【封面圖片來(lái)源：網(wǎng)站名中國(guó)科學(xué)院自動(dòng)化研究所，所有者：GThinker】

一、研究背景 

多模態(tài)大語(yǔ)言模型（MLLM）在文本推理領(lǐng)域已展現(xiàn)出強(qiáng)大的迭代反思能力，但在涉及復(fù)雜視覺(jué)場(chǎng)景的推理任務(wù)中，依然存在明顯缺陷——研究團(tuán)隊(duì)將其定義為視覺(jué)慣性（Visual Inertia）現(xiàn)象：盡管 MLLM 在文本語(yǔ)境中擅長(zhǎng)進(jìn)行多輪迭代推理并修正錯(cuò)誤，但在視覺(jué)推理過(guò)程中往往不加質(zhì)疑地依賴最初的視覺(jué)解釋?zhuān)词惯@種初始解釋具有誤導(dǎo)性，也很少主動(dòng)回頭重新審視和修正。

這種現(xiàn)象在初始視覺(jué)感知可能具有歧義性或誤導(dǎo)性的復(fù)雜任務(wù)中（如視錯(cuò)覺(jué)圖像、遮擋場(chǎng)景、細(xì)粒度屬性識(shí)別等）導(dǎo)致系統(tǒng)性推理失敗。現(xiàn)有 MLLM 缺乏主動(dòng)觸發(fā)重新審視關(guān)鍵視覺(jué)證據(jù)的機(jī)制，一旦初始感知出錯(cuò)，后續(xù)推理鏈會(huì)沿著錯(cuò)誤方向越走越偏。

GThinker 提出了 Cue-Rethinking（線索再思考）機(jī)制，賦予 MLLM 主動(dòng)標(biāo)記關(guān)鍵視覺(jué)線索并在發(fā)現(xiàn)不一致時(shí)自動(dòng)觸發(fā)重審的能力，從根本上緩解視覺(jué)慣性問(wèn)題。

二、核心方法

GThinker 的核心是 Cue-Rethinking 機(jī)制和配套的兩階段訓(xùn)練框架。

Cue-Rethinking 機(jī)制：

在推理過(guò)程中，模型使用 vcues 特殊標(biāo)簽顯式標(biāo)記推理所依賴的關(guān)鍵視覺(jué)線索（如圖像左上角的紅色物體、人物手部的細(xì)節(jié)等）。初步推理鏈完成后，系統(tǒng)自動(dòng)觸發(fā)反思提示，引導(dǎo)模型逐一回顧所有已標(biāo)記的視覺(jué)線索，檢查是否存在解釋不一致、錯(cuò)誤或遺漏。一旦發(fā)現(xiàn)問(wèn)題，模型會(huì)修正對(duì)該線索的理解，并基于新理解重新進(jìn)行推理，形成推理-標(biāo)記-再思考-修正的閉環(huán)。

第一階段：模式引導(dǎo)冷啟動(dòng)

通過(guò)迭代式多模態(tài)標(biāo)注流程構(gòu)建符合 Cue-Rethinking 模式的高質(zhì)量推理數(shù)據(jù)集 GThinker-11k，使用評(píng)判引導(dǎo)的選擇性訓(xùn)練，專(zhuān)門(mén)從失敗樣本中學(xué)習(xí)如何識(shí)別初始視覺(jué)解釋的錯(cuò)誤并觸發(fā)再思考。

第二階段：激勵(lì)式強(qiáng)化學(xué)習(xí)

引入DAPO 強(qiáng)化學(xué)習(xí)算法，在多場(chǎng)景探索中進(jìn)一步優(yōu)化模型在何時(shí)觸發(fā)再思考、如何有效修正視覺(jué)解釋等策略行為，使再思考機(jī)制更加精準(zhǔn)高效。

 三、亮點(diǎn)總結(jié)  

亮點(diǎn)一：M3CoT基準(zhǔn)達(dá)到81.5%，驗(yàn)證視覺(jué)再思考的價(jià)值

GThinker 在 M3CoT 多模態(tài)鏈?zhǔn)酵评砘鶞?zhǔn)上取得 81.5% 的領(lǐng)先成績(jī)，在多個(gè)多模態(tài)推理任務(wù)上實(shí)現(xiàn)平均 2.1% 的整體提升，量化地證明了視覺(jué)再思考機(jī)制能顯著改善模型在視覺(jué)感知易出錯(cuò)場(chǎng)景下的推理質(zhì)量。

亮點(diǎn)二：首次系統(tǒng)性定義并解決視覺(jué)慣性問(wèn)題

GThinker 是首個(gè)明確提出并系統(tǒng)性解決視覺(jué)慣性的工作，揭示了現(xiàn)有 MLLM 缺乏視覺(jué)自我修正機(jī)制這一根本性缺陷。Cue-Rethinking 機(jī)制類(lèi)比于人類(lèi)在解題時(shí)會(huì)重新審視題目條件的元認(rèn)知行為，是計(jì)算機(jī)視覺(jué)與認(rèn)知科學(xué)的交叉創(chuàng)新。

亮點(diǎn)三：GThinker-11k 數(shù)據(jù)集與可復(fù)現(xiàn)的訓(xùn)練范式

論文提供了完整的 GThinker-11k 多模態(tài)推理數(shù)據(jù)集（含11k條帶視覺(jué)線索標(biāo)注的推理軌跡）和可復(fù)現(xiàn)的兩階段訓(xùn)練框架，為后續(xù)研究提供了寶貴的開(kāi)源資產(chǎn)，加速了視覺(jué)推理增強(qiáng)技術(shù)的社區(qū)發(fā)展。

──────────────────────────────────────────

 上述內(nèi)容包含AI輔助生成，更詳細(xì)信息參見(jiàn)兩個(gè)鏈接

原文鏈接：https://arxiv.org/abs/2026.gthinker

解讀來(lái)源：https://ia.cas.cn/xwzx/ttxw/202603/t20260317_8160775.html

 

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。