一、研究背景  

多模態(tài)生成是計(jì)算機(jī)視覺(jué)最活躍的研究方向之一。

虛擬試衣（Virtual Try-on）是電商零售核心場(chǎng)景，但傳統(tǒng)方法嚴(yán)重依賴(lài)人體姿態(tài)識(shí)別、圖像分割等輔助模型，流程冗長(zhǎng)，外部誤差累積明顯；生成質(zhì)量上，面料質(zhì)感失真、蕾絲花紋丟失、透明材質(zhì)處理困難等問(wèn)題長(zhǎng)期困擾用戶體驗(yàn)，制約了商業(yè)落地。RefTON 開(kāi)創(chuàng)性地引入服裝上身參考圖作為視覺(jué)指引，僅需人物原圖與目標(biāo)服裝圖，就能實(shí)現(xiàn)高保真的虛擬試穿生成，為電商零售等相關(guān)業(yè)務(wù)場(chǎng)景，打造了更貼合實(shí)際需求的虛擬試衣技術(shù)方案。

高分辨率AI圖像生成長(zhǎng)期面臨效果好則速度慢、速度快則效果打折扣的兩難困境。主流模型參數(shù)量龐大、推理延遲高、算力消耗大，在移動(dòng)端和端側(cè)設(shè)備上幾乎無(wú)法實(shí)時(shí)運(yùn)行，嚴(yán)重限制了 AI 圖像生成在消費(fèi)級(jí)設(shè)備上的普及。NAMI 架構(gòu)，則在保證生成畫(huà)質(zhì)、文本語(yǔ)義對(duì)齊能力比肩國(guó)際頂尖模型的前提下，將 1024×1024 高分辨率圖像的推理時(shí)間大幅降低 64%。

二、核心方法  

RefTON 的核心創(chuàng)新是引入服裝上身參考圖作為視覺(jué)指引，通過(guò)雙階段訓(xùn)練策略和多條件輸入適配，實(shí)現(xiàn)僅憑人物原圖加目標(biāo)服裝圖兩張輸入的極簡(jiǎn)試衣。第一階段訓(xùn)練模型理解服裝的幾何變形規(guī)律，第二階段專(zhuān)注于紋理細(xì)節(jié)的精細(xì)還原。通過(guò)參考圖中的服裝真實(shí)上身效果作為紋理和形變的雙重監(jiān)督信號(hào)，使模型無(wú)需額外的人體姿態(tài)或分割先驗(yàn)即可完成高保真生成，同時(shí)支持 masked 和 unmasked 兩種試穿模式以覆蓋不同場(chǎng)景。

而NAMI 提出橋接漸進(jìn)式 Rectified Flow 架構(gòu)，通過(guò)自研 BridgeFlow 模塊將圖像生成過(guò)程按分辨率拆解為兩階段：低分辨率階段快速搭建圖像粗略輪廓，高分辨率階段精細(xì)化打磨細(xì)節(jié)?？珉A段流的精準(zhǔn)對(duì)齊（BridgeFlow）是實(shí)現(xiàn)高質(zhì)量高速度的關(guān)鍵技術(shù)，它將兩階段的擴(kuò)散軌跡在隱空間中無(wú)縫銜接，避免了多模型串聯(lián)帶來(lái)的語(yǔ)義漂移和質(zhì)量損失。

三、亮點(diǎn)總結(jié)  

亮點(diǎn)一：RefTON——零輔助輸入的高保真試衣

徹底擺脫對(duì)姿態(tài)估計(jì)、圖像分割等復(fù)雜輔助輸入的依賴(lài)，將試衣系統(tǒng)從需要多個(gè)專(zhuān)家模型協(xié)同簡(jiǎn)化為端到端單模型推理。在國(guó)際公開(kāi)基準(zhǔn)測(cè)試中達(dá)到領(lǐng)先性能，尤其在蕾絲、透明材質(zhì)等極難還原紋理上表現(xiàn)卓越，具有極強(qiáng)的電商落地價(jià)值。

亮點(diǎn)二：NAMI——1024x1024推理速度降低64%

在保持圖像生成質(zhì)量與主流頂尖模型相當(dāng)?shù)那疤嵯?，?024x1024分辨率的推理時(shí)間降低了 64%，這是生成效率領(lǐng)域的重要突破，使高質(zhì)量圖像生成在移動(dòng)端和端側(cè) AI 設(shè)備上成為可能，為消費(fèi)級(jí) AI 應(yīng)用普及打開(kāi)了空間。

亮點(diǎn)三：產(chǎn)學(xué)研深度融合的典范

兩項(xiàng)工作均立足360集團(tuán)真實(shí)業(yè)務(wù)場(chǎng)景（電商試衣、移動(dòng)端生成），通過(guò)前沿學(xué)術(shù)研究解決產(chǎn)業(yè)痛點(diǎn)，并已全部開(kāi)源（GitHub: 360CVGroup）。這種頂會(huì)論文即工程交付的研發(fā)模式，為 AI 研究機(jī)構(gòu)的成果轉(zhuǎn)化提供了優(yōu)秀樣本。

──────────────────────────────────────────

上述內(nèi)容包含AI輔助生成，更詳細(xì)信息參見(jiàn)兩個(gè)鏈接

原文鏈接：https://github.com/360CVGroup

解讀來(lái)源：https://research.#/blog/26fd5d52-aad1-4ffa-9d0e-9ebdd9831560

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。