論文介紹

論文標(biāo)題：CoRiM: Conflict-driven Risk Minimization for Dynamic Multimodal Fusion

論文作者：Shihao Zou(24級博), Wei Wei*（導(dǎo)師）

內(nèi)容介紹：

    現(xiàn)有動態(tài)多模態(tài)融合方法在處理模態(tài)沖突與數(shù)據(jù)質(zhì)量不一致問題缺乏有效理論支撐。近期理論研究雖將模態(tài)權(quán)重與損失、置信度等指標(biāo)相關(guān)聯(lián)，但上述范式對于概率分布不一致等問題目前仍無法有效解決。因此，提出一種沖突風(fēng)險最小化（CoRiM）的動態(tài)融合范式，其主要思想是將動態(tài)融合范式重定義為單樣本直接風(fēng)險最小化任務(wù)。具體來說，我們首先定義了一個可微的模態(tài)沖突風(fēng)險（MCR）函數(shù)（R(w)），主要用于對模態(tài)融合中的不確定性以及模態(tài)間一致性建模來量化風(fēng)險。其次，通過研究發(fā)現(xiàn)，最小化R(w)本質(zhì)上是一個定義在概率單純形（probabilistic simplex）上的非凸約束優(yōu)化問題。因此，考慮引入無需投影的Frank-Wolfe（FW）算法，其能夠有效契合單純形上的優(yōu)化任務(wù)，同時理論上也證明了所設(shè)計的R(w)函數(shù)具有L-光滑性，其保證了在FW算法在非凸目標(biāo)上的收斂性。通過在多個基準(zhǔn)數(shù)據(jù)集上的實驗表明，所提模型在高沖突和噪聲環(huán)境下相較于已有最優(yōu)方法均取得了更優(yōu)的性能表現(xiàn)。

圖1：CoRiM模型框架圖

論文標(biāo)題：Debiased Sample Selection for Learning with Noisy Labels

論文作者：Weiran Pan(23級博), Wei Wei*（導(dǎo)師）, Wenfeng Xie

內(nèi)容介紹：

    現(xiàn)有噪聲標(biāo)簽學(xué)習(xí)方法主要依賴小損失（small-loss）假設(shè)，即低損失樣本對應(yīng)標(biāo)注更可能是正確的。然而，該假設(shè)忽略了兩種存在的確認(rèn)偏差：（1）類別級確認(rèn)偏差：易學(xué)習(xí)類別的樣本損失較低，導(dǎo)致簡單樣本被過度選擇而忽略對困難樣本的學(xué)習(xí)；（2）實例級確認(rèn)偏差：低損失樣本可能是錯誤標(biāo)注導(dǎo)致其被錯誤地視為干凈樣本，以至模型強行擬合錯誤標(biāo)簽。因此，分別提出了邊際分布調(diào)整（MDA）和候選類別選擇（CCS）兩種即插即用方法。MDA方法旨在通過動態(tài)調(diào)整模型預(yù)測的類別分布趨向均勻，以確?？珙悇e樣本選擇的公平性；CCS方法主要通過動態(tài)識別訓(xùn)練過程中潛在的正確標(biāo)簽，將其從分類任務(wù)中移除，以防止模型強制性抑制正確標(biāo)簽，同時將弱相關(guān)標(biāo)簽轉(zhuǎn)化為有用的監(jiān)督信號。通過在CIFAR-10/100合成噪聲數(shù)據(jù)集以及真實世界噪聲數(shù)據(jù)集（CIFAR-N、Clothing1M、WebVision）上實驗表明，在現(xiàn)有樣本選擇器或先進(jìn)LNL流程中集成上述兩種所提即插即用方法（MDA/CCS）均取得有效性能提升，體現(xiàn)了所提方法在噪聲標(biāo)簽學(xué)習(xí)方法中的普遍適用性。

圖2：候選類別選擇（CCS）方法示意圖

論文標(biāo)題：Text-Anchored Guided Optimization for Robust Fine-tuning Vision-Language Models under Label Noise

論文作者：Tengfei Ma(24級碩), Weiran Pan(23級博), Wei Wei*（導(dǎo)師）

內(nèi)容介紹：

    針對多模態(tài)大模型（如視覺- 語言模型，VLMs）微調(diào)對特定任務(wù)性能提升具有重要作用，但真實世界數(shù)據(jù)集中普遍存在標(biāo)簽噪聲問題，導(dǎo)致其微調(diào)性能受限。傳統(tǒng)帶噪標(biāo)簽學(xué)習(xí)方法通常依賴自引用驗證(即利用模型自身預(yù)測結(jié)果糾正錯誤)，而近期研究則利用跨模態(tài)信息輔助噪聲檢測，區(qū)別于上述方法，我們探索了一條不同的技術(shù)路徑：不僅將文本模態(tài)用于噪聲樣本識別，更將其作為一種獨立于訓(xùn)練數(shù)據(jù)潛在錯誤標(biāo)注之外的“真實標(biāo)簽來源”。因此，提出了一種文本錨定引導(dǎo)優(yōu)化（TANGO）框架，其以 “語義錨點”（一組由不同文本描述生成的靜態(tài)干凈的參考點） 為核心重構(gòu)了帶噪標(biāo)簽學(xué)習(xí)兩個關(guān)鍵點：（1）基于無參數(shù)化文本錨定分類器替代傳統(tǒng)線性分類器，以利用干凈錨點生成直接帶權(quán)監(jiān)督信號；（2）引入基于錨點引導(dǎo)的細(xì)化機制，主要利用每個樣本的錨點標(biāo)簽信號驗證給定樣本標(biāo)簽，以用于樣本選擇及標(biāo)簽修正，以防止錯誤標(biāo)簽/信號導(dǎo)致的模型性能下降。通過大量實驗表明，所提方法較已有最優(yōu)方法取得了更佳性能。

圖3 語義錨點概念圖

論文標(biāo)題：RDF-MIG: A Robust Diffusion Framework for Masked Image Generation to Augment Semantic Segmentation and Change Detection

論文作者：Zian Cao(24級博), Wei Wei*（導(dǎo)師）, Qingshan Gao, Yuanyuan Fu

內(nèi)容介紹：

    變化檢測與語義分割是遙感衛(wèi)星圖像分析的關(guān)鍵技術(shù)之一，但高質(zhì)量標(biāo)注數(shù)據(jù)的獲取成本通常較高，導(dǎo)致高質(zhì)量標(biāo)主數(shù)據(jù)稀缺。目前已有研究重點關(guān)注如何利用生成模型來緩解數(shù)據(jù)稀缺問題，但仍缺乏統(tǒng)一的生成框架能夠同時應(yīng)用于上述兩類任務(wù)，且現(xiàn)有方法大多無法直接生成多光譜圖像，導(dǎo)致其模型泛化性較弱。針對上述問題，提出了一種魯棒性擴散模型框架（RDFMIG）用于掩碼圖像生成，其主要通過聯(lián)合生成時相圖像-變化掩碼對以及單時相圖像-語義分割掩碼對以擴充訓(xùn)練數(shù)據(jù)集，從而有效增強下游任務(wù)（如變化檢測和語義分割）的性能。此外，為提升生成圖像-掩碼對的質(zhì)量，進(jìn)一步提出了一種最大熵擴散損失函數(shù)用于對擴散模型的訓(xùn)練目標(biāo)進(jìn)行重構(gòu)；以及設(shè)計了一種MSE一致性校準(zhǔn)方法用于提升擴散模型魯棒性，其主要通過解析方法使小誤差梯度與MSE目標(biāo)保持一致，從而能夠直接復(fù)用現(xiàn)有擴散模型的成熟訓(xùn)練參數(shù)，而不需要額外進(jìn)行調(diào)參。大量實驗表明所提出的RDF-MIG方法能夠有效生成多光譜圖像-掩模對以顯著提升下游任務(wù)性能，同時所提的MCRD損失函數(shù)能夠進(jìn)一步提升合成數(shù)據(jù)質(zhì)量。

圖4：RDF-MIG框架圖

05

論文標(biāo)題：VA-π: Variational Policy Alignment for Pixel-Aware Autoregressive Generation

論文作者：Xinyao Liao(23級碩), Qiyuan He, Kai Xu, Xiaoye Qu, Yicong Li, Wei Wei（導(dǎo)師）, Angela Yao

內(nèi)容介紹：

    目前，自回歸（AR）視覺生成方法主要依賴于分詞器（tokenizer）在圖像和離散序列之間進(jìn)行映射。然而，分詞器訓(xùn)練目標(biāo)與AR生成器之間存在天然的目標(biāo)不一致性，即前者主要用于從真實token 重建清晰圖像，而后者則僅針對 token 似然進(jìn)行優(yōu)化，因此上述目標(biāo)不一致性導(dǎo)致生成的 token 序列在缺乏像素空間直接監(jiān)督條件下，極易解碼出低質(zhì)圖像。因此，提出了一種輕量級后訓(xùn)練框架（VA-π），其主要利用像素空間目標(biāo)來直接優(yōu)化 AR 模型。具體來說，VA-π 將生成器-分詞器的對齊形式化為變分優(yōu)化問題，通過推導(dǎo)出證據(jù)下界（ELBO），以實現(xiàn)像素重建與自回歸建模的統(tǒng)一。同時為了保證在離散token 空間下進(jìn)行優(yōu)化，VA-π 還引入了基于強化學(xué)習(xí)對齊策略，即將 AR 生成器視為策略，并將像素空間的重建質(zhì)量作為其內(nèi)在獎勵，該獎勵通過在“教師強制（teacher forcing）”條件下預(yù)測的 token 序列重建原始圖像的程度來衡量，從而為模型提供直接的像素級指導(dǎo)，且無需代價高昂的自由生成采樣（free-running sampling）。同時，ELBO 的正則化項作為天然的正則化器，能夠有效保持 token 的分布一致性，且VA-π 能夠?qū)崿F(xiàn)已有 AR 生成器的快速適配，無需重新訓(xùn)練分詞器或依賴額外的外部獎勵模型。通過大量實驗表明，在僅使用 1% ImageNet-1K 訓(xùn)練數(shù)據(jù)且微調(diào)時長僅 25 分鐘條件下，VA-π在 LlamaGen-XXL 模型上實現(xiàn)了 FID 從 14.36->7.65，IS 從86.55->116.70的顯著性性能提升。同時，進(jìn)一步在GenEval文本到圖像生成基準(zhǔn)上的實驗表明，所提方法不僅提升了純視覺生成模型（LlamaGen， 0.306->0.339）性能，還有效提升了統(tǒng)一多模態(tài)模型（Janus-Pro，0.725->0.744）的生成質(zhì)量，體現(xiàn)其卓越性能。

圖5：VA-π模型框架圖