時(shí)隔一年半，OpenAI 直接玩了個(gè)大的，把文生圖和 ChatGPT 做了結(jié)合，帶著最新版本 DALL·E 3 來(lái)了。

DALL·E 3 的巨大飛躍主要體現(xiàn)在兩大方面。

第一，只需要提示詞，ChatGPT 可自動(dòng)對(duì)詞語(yǔ)進(jìn)行拓展，極大地弱化了提示工程的約束，生成圖畫細(xì)節(jié)更多、描述更精準(zhǔn)。

第二，Chat GPT 原生，模型在理解用戶指令及將文本轉(zhuǎn)化為圖片的能力增加了。OpenAI 表示，DALL·E 3 比以往系統(tǒng)更能理解細(xì)微差別和細(xì)節(jié)，讓用戶更加輕松地將自己的想法轉(zhuǎn)化為非常準(zhǔn)確的圖像。

可以看到，DALL·E 3 不僅在推理能力上更強(qiáng)大了，同時(shí)用起來(lái)也更加簡(jiǎn)單，給了大家無(wú)限的創(chuàng)作可能性。

DALL·E 3 的巨大飛躍

DALL·E 3 最大的突破，無(wú)疑是將文生圖模型與 ChatGPT 的結(jié)合，極大地降低了提示詞的門檻。

用戶只需要輸入簡(jiǎn)單的詞語(yǔ)，ChatGPT 可自動(dòng)對(duì)提示詞進(jìn)行擴(kuò)展、生成定制的詳細(xì)提示，從簡(jiǎn)單的句子到詳細(xì)的段落，勾畫出一副細(xì)節(jié)感滿滿的畫面。

來(lái)看幾張由 DALL·E 3 生成的圖片：

滿月映照下的繁華都市街道，熙熙攘攘的行人正享受著夜生活。

在街角的攤位上，一位滿頭紅發(fā)、身著天鵝絨斗篷的年輕女子正在與脾氣暴躁的老攤主討價(jià)還價(jià)。

這位脾氣暴躁的小販身材高大、為人老練，他穿著筆挺的西裝、留著引人注目的小胡子，正興致勃勃地用他的蒸汽朋克電話在交談。

擬人化的秋葉組成了一支民間樂(lè)隊(duì)，在鄉(xiāng)村的森林中，它們演奏著傳統(tǒng)的藍(lán)草音樂(lè)，點(diǎn)綴著滿月撒下的柔和月光。

荔枝紋風(fēng)格的球形椅子，具有凹凸不平的白色外觀和豪華的內(nèi)部，襯托著熱帶壁紙。

精彩的細(xì)節(jié)刻畫，加上精致的圖像畫面，可以看到，DALL·E 3 在弱化了提示詞約束的同時(shí)，還具備了 ChatGPT 原生的優(yōu)勢(shì)，用語(yǔ)言指導(dǎo)大型神經(jīng)網(wǎng)絡(luò)執(zhí)行各種文本生成任務(wù)。

目前來(lái)看，DALL·E 3 在理解用戶命令和文生圖方面都展現(xiàn)了更為出色的能力，這也是此前 AIGC 領(lǐng)域存在的短板之一。一位 OpenAI 研究員也表示，語(yǔ)言的進(jìn)步使 DALL·E 3 能夠更好地解析復(fù)雜指令，避免混淆詳細(xì)請(qǐng)求中的元素。

而如果出現(xiàn)圖像與文本描述不相符的情況時(shí)，用戶可在 ChatGPT 中隨時(shí)進(jìn)行調(diào)整。

關(guān)于 DALL·E 3 更多細(xì)節(jié)，Sam Altman 還分享了一個(gè)可愛(ài)的宣傳視頻。

視頻中，家長(zhǎng)通過(guò)向 ChatGPT 提問(wèn)“5 歲小朋友口中的‘超級(jí)向日葵刺猬’的樣子是什么樣？”，獲得了四段不同風(fēng)格的提示詞，并由 DALL·E 3 生成對(duì)應(yīng)圖像。

由用戶選定了圖像風(fēng)格、并為小刺猬起名 Larry 后，ChatGPT 又為故事添加了更多豐富的元素，包括森林的背景、小房子、以及帶有 Larry 名字的小信箱等等，ChatGPT 綜合了前面的信息后，還可以生成一個(gè)完整的故事情節(jié)。

可以說(shuō)，從童話故事到插圖，ChatGPT 和 DALL·E 3 全包了！有網(wǎng)友評(píng)價(jià)稱，Sam Altman 放出的小刺猬 demo 視頻，是《30 分鐘做一本兒童繪本》的實(shí)例。

而與此前 DALL·E 系列模型相比，根據(jù)同一句提示詞“一名籃球運(yùn)動(dòng)員扣籃、被描繪成一個(gè)星云爆炸的油畫”，使用 DALL·E2 和 DALL·E3 分別進(jìn)行圖片生成?？梢钥吹?，兩代模型在生成圖片的效果存在明顯的差異。

和左側(cè)相比，DALL·E 3 圖片中的細(xì)節(jié)描繪、場(chǎng)景明亮度等效果都更好。

在 DALL·E 2 發(fā)布的一年多時(shí)間，期間 Stable Diffusion 掀起了一陣擴(kuò)散模型熱潮，后者一時(shí)風(fēng)光兩無(wú)。如今，OpenAI 帶著最新版的 DALL·E 3 洶洶來(lái)襲，似乎將要改變這一局面。

新一輪文生圖戰(zhàn)局打響了

早些時(shí)候，約 400 人左右參與測(cè)試了 OpenAI Discord 服務(wù)器上的 DALL·E 3 Alpha 版本，網(wǎng)友評(píng)價(jià)：生成圖片的準(zhǔn)確度碾壓 Stable Diffusion 、MidJourney。MidJourney 的語(yǔ)文水平一直被用戶吐槽，這一點(diǎn)在 DALL·E 3 上大有改觀。DALL·E 3 可以通過(guò) Prompt 提示，在圖片中生成連續(xù)準(zhǔn)確的單詞拼寫，像下圖中的“HELLO”，在以往的文生圖模型中還沒(méi)有模型可實(shí)現(xiàn)這一點(diǎn)。

這張“DALL·E CAN SPELL”的圖片放大后，也可以看到在圖片深處的“DALL·E ”有拼寫成“DALE”的情況，但是整體看，在遵循提示和生成連貫細(xì)節(jié)方面 DALL·E 3 已經(jīng)有了極大的突破。

除了文字的細(xì)節(jié)，在對(duì) Prompt 理解方面，DALL·E 3 與早一期的版本也有極大的進(jìn)步。提示詞是“霧蒙蒙的森林里，地面非常泥濘，一場(chǎng)自行車比賽正在進(jìn)行，一個(gè)粉紅色的小丑騎著用奶酪做成的自行車，和跟熊貓擊掌，熊貓很生氣。”在 5 月 DALL·E 版本中可以看到，熊貓和小丑的手掌是扭曲的，自行車用奶酪制成這一細(xì)節(jié)不太明顯，熊貓表情面露微笑，這一點(diǎn)顯然和提示詞的內(nèi)容不符合。

到了 DALL·E 3 的版本中可以看到，小丑和熊貓擊掌，小丑明顯的五根手指，自行車車輪完全是奶酪元素，包括車輪激起的泥點(diǎn)細(xì)節(jié)等， DALL·E 3 在理解提示詞語(yǔ)義和呈現(xiàn)畫面方面有了非常明顯的進(jìn)步。

當(dāng)在 Stable Diffusion 、MidJourney 中輸入相同提示詞時(shí)，呈現(xiàn)的畫面與提示詞的關(guān)系，不能說(shuō)一點(diǎn)不同，也差不多是毫不相關(guān)。看到 DALL·E 3 的表現(xiàn)，很多網(wǎng)友表示 Stable Diffusion 、MidJourney 無(wú)法在這個(gè)級(jí)別上與其競(jìng)爭(zhēng)。

就在上周，有消息爆出谷歌正在小范圍內(nèi)測(cè) Gemini，傳言稱，Gemini 將比 ChatGPT 強(qiáng)大 20 倍，這也給 OpenAI 帶來(lái)了一定程度上的輿論壓力。

隨后，OpenAI “悄悄”更新了 GPT-3.5-Turbo-Instruct，此前有消息傳出，OpenAI 正緊鑼密鼓地將 GPT-4 與類似于 Gemini 提供的多模態(tài)功能結(jié)合起來(lái)，不少業(yè)內(nèi)人士猜測(cè)，OpenAI 或在即將召開的首屆開發(fā)者大會(huì)上發(fā)布多模態(tài)大模型，比如 GPT-4-Vision。

大模型局勢(shì)撲朔迷離，作為大模型的引領(lǐng)者，谷歌和 OpenAI 在互相試探，二者真實(shí)實(shí)力幾何，還有多少顛覆我們認(rèn)知的能力，尚且未知。

目前， DALL·E 3 背后的技術(shù)細(xì)節(jié)并未公布。但在安全和版權(quán)保護(hù)方面，OpenAI 已對(duì) DALL·E 3 投入了大量的工作，包括采取緩解措施拒絕提供公眾人物姓名、與外部的“紅隊(duì)”成員（對(duì)模型進(jìn)行壓力測(cè)試的團(tuán)隊(duì)）合作、在內(nèi)部開發(fā)來(lái)源分類器等。

此外，DALL·E 3 拒絕提供在世藝術(shù)家風(fēng)格圖像，藝術(shù)創(chuàng)作者也可選擇將其個(gè)人作品從 DALL·E 3 未來(lái)圖像生成模型的訓(xùn)練中剔除。據(jù)悉，DALL·E 3 將于 10 月初面向 ChatGPT Plus 和 Enterprise 用戶上線，用戶使用 DALL·E 3 創(chuàng)建的圖像無(wú)需 OpenAI 授權(quán)即可轉(zhuǎn)載或者出售。

（雷峰網(wǎng)雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))）

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。