美團(tuán)邁出通向“世界模型”的第一步，并計(jì)劃用它更好地連接“原子世界”與“比特世界”。                  

▲美團(tuán)發(fā)布并開(kāi)源LongCat-Video視頻生成模型，邁出通向“世界模型”的第一步（資料圖）

10月27日，美團(tuán)LongCat團(tuán)隊(duì)發(fā)布并開(kāi)源LongCat-Video視頻生成模型，以統(tǒng)一模型在文生、圖生視頻基礎(chǔ)任務(wù)上達(dá)到開(kāi)源SOTA（最先進(jìn)水平），并依托原生視頻續(xù)寫(xiě)任務(wù)預(yù)訓(xùn)練，實(shí)現(xiàn)分鐘級(jí)長(zhǎng)視頻連貫生成，保障跨幀時(shí)序一致性與物理運(yùn)動(dòng)合理性，在長(zhǎng)視頻生成領(lǐng)域具備顯著優(yōu)勢(shì)。

近年來(lái)，“世界模型”（World Model）因讓人工智能真正理解、預(yù)測(cè)甚至重構(gòu)真實(shí)世界，被業(yè)界視作通往下一代智能的核心引擎。作為能夠建模物理規(guī)律、時(shí)空演化與場(chǎng)景邏輯的智能系統(tǒng)，“世界模型”賦予人工智能“看見(jiàn)”世界運(yùn)行本質(zhì)的能力。而視頻生成模型有望成為構(gòu)建世界模型的關(guān)鍵路徑——通過(guò)視頻生成任務(wù)壓縮幾何、語(yǔ)義、物理等多種形式的知識(shí)，人工智能得以在數(shù)字空間中模擬、推演乃至預(yù)演真實(shí)世界的運(yùn)行。

正因如此，美團(tuán)LongCat團(tuán)隊(duì)認(rèn)為，此次發(fā)布的視頻生成模型，是為探索“世界模型”邁出的第一步。未來(lái)，憑借精準(zhǔn)重構(gòu)真實(shí)世界運(yùn)行狀態(tài)的能力，LongCat模型也會(huì)融入公司近年來(lái)持續(xù)投入的自動(dòng)駕駛、具身智能等深度交互業(yè)務(wù)場(chǎng)景中，成為公司更好連接“比特世界”和“原子世界”的技術(shù)基礎(chǔ)。

▲LongCat-Video視頻生成模型視頻推理速度提升至10.1倍（資料圖）

 

具體來(lái)看，此次開(kāi)源模型的技術(shù)報(bào)告顯示，作為基于Diffusion Transformer（DiT）架構(gòu)的多功能統(tǒng)一視頻生成基座，LongCat-Video創(chuàng)新通過(guò) “條件幀數(shù)量” 實(shí)現(xiàn)任務(wù)區(qū)分，原生支持三大核心任務(wù)：文生視頻無(wú)需條件幀、圖生視頻輸入 1 幀參考圖、視頻續(xù)寫(xiě)依托多幀前序內(nèi)容，且無(wú)需額外模型適配，形成“文生/圖生/視頻續(xù)寫(xiě)”完整任務(wù)閉環(huán)。

此外，依托視頻續(xù)寫(xiě)任務(wù)預(yù)訓(xùn)練，新模型可穩(wěn)定輸出5分鐘級(jí)別的長(zhǎng)視頻，且無(wú)質(zhì)量損失，達(dá)到行業(yè)頂尖水平。同時(shí)，從根源規(guī)避色彩漂移、畫(huà)質(zhì)降解、動(dòng)作斷裂等行業(yè)痛點(diǎn)，保障跨幀時(shí)序一致性與物理運(yùn)動(dòng)合理性，適配數(shù)字人、具身智能、世界模型等需要長(zhǎng)時(shí)序動(dòng)態(tài)模擬的場(chǎng)景需求。模型還結(jié)合塊稀疏注意力（BSA）與條件 token 緩存機(jī)制，大幅降低長(zhǎng)視頻推理冗余——即便處理 93 幀及以上長(zhǎng)序列，仍能兼顧效率與生成質(zhì)量穩(wěn)定，打破長(zhǎng)視頻生成“時(shí)長(zhǎng)與質(zhì)量不可兼得”的瓶頸。

針對(duì)高分辨率、高幀率視頻生成的計(jì)算瓶頸，LongCat-Video通過(guò)“二階段粗到精生成（C2F）+ 塊稀疏注意力（BSA）+ 模型蒸餾”三重優(yōu)化，視頻推理速度提升至10.1倍，實(shí)現(xiàn)效率與質(zhì)量的最優(yōu)平衡。

▲LongCat-Video視頻生成模型在文生、圖生視頻基礎(chǔ)任務(wù)上達(dá)到開(kāi)源SOTA（資料圖）

技術(shù)報(bào)告還稱(chēng)，LongCat-Video的模型評(píng)估圍繞內(nèi)部基準(zhǔn)測(cè)試和公開(kāi)基準(zhǔn)測(cè)試展開(kāi)，覆蓋 Text-to-Video（文本生成視頻）、Image-to-Video（圖像生成視頻）兩大核心任務(wù)，從多維度（文本對(duì)齊、圖像對(duì)齊、視覺(jué)質(zhì)量、運(yùn)動(dòng)質(zhì)量、整體質(zhì)量）驗(yàn)證模型性能：136億參數(shù)的視頻生成基座模型，在文生視頻、圖生視頻兩大核心任務(wù)中，綜合性能均達(dá)到當(dāng)前開(kāi)源領(lǐng)域SOTA級(jí)別；通過(guò)文本 - 視頻對(duì)齊、視覺(jué)質(zhì)量、運(yùn)動(dòng)質(zhì)量、整體質(zhì)量四大維度評(píng)估，其性能在文本對(duì)齊度、運(yùn)動(dòng)連貫性等關(guān)鍵指標(biāo)上展現(xiàn)顯著優(yōu)勢(shì)；在VBench等公開(kāi)基準(zhǔn)測(cè)試中，LongCat-Video在參評(píng)模型中整體表現(xiàn)優(yōu)異。

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。