0
| 本文作者： 貝爽 | 2020-08-26 22:28 |
五花八門的APP讓人像修圖越來(lái)越簡(jiǎn)單，磨皮、美白、亮膚都可以一鍵處理。
不過(guò)，如果把原片拍成這樣，各類APP可能就無(wú)能無(wú)力了。
圖片中人臉被大面積的陰影覆蓋，如果不想放棄原圖，只能用Photoshop等專業(yè)的修圖軟件處理。
不過(guò)，對(duì)于小白來(lái)說(shuō)，Ps等軟件有一定技術(shù)難度，而且操作步驟復(fù)雜，那么有沒(méi)有一種簡(jiǎn)單，對(duì)小白友好的處理方法呢？
近日，來(lái)自伯克利，麻省理工學(xué)院和Google Research的研究人員聲稱，他們研發(fā)出一款最新AI算法，無(wú)需Ps，在幾秒內(nèi)中就可以精準(zhǔn)去除圖像中的“不需要”的陰影部分，而且對(duì)于面部圖像的處理尤為適用。
如果打開(kāi)手機(jī)相冊(cè)，你會(huì)發(fā)現(xiàn)戶外自拍照或多或少都會(huì)存在陰影問(wèn)題，這是光線位置、自拍角度和周圍環(huán)境等因素造成的，比如在強(qiáng)光照下，周圍樹(shù)木、建筑，或者頭戴的帽子都可能在面部形成陰影。
不過(guò)，并不是所陰影都需要全部去除，比如頭發(fā)、五官的陰影會(huì)讓照片看起來(lái)更加自然美觀。
由伯克利，麻省理工學(xué)院和Google Research組成的研究團(tuán)隊(duì)稱，他們開(kāi)發(fā)的基于神經(jīng)網(wǎng)絡(luò)的AI模型不僅可以去除面部陰影，還可以準(zhǔn)確識(shí)別哪些是需要處理的陰影，并自動(dòng)完成補(bǔ)光。
我們先來(lái)看一組實(shí)驗(yàn)對(duì)比圖。
可以看到，該AI算法的修復(fù)效果還是非常顯著的。原圖中，人臉的三分之二全部被陰影覆蓋，修復(fù)后，陰影被大面積去除，而且基本保持了人像的原貌，看不出任何圖片修復(fù)過(guò)的痕跡。
另外，我們看到臉頰側(cè)面，眉骨下面的陰影被適度保留了。下面這幅實(shí)驗(yàn)效果圖更為顯著，陰影被適度去除，并且增加了一定的光感。
研究人員稱，他們實(shí)驗(yàn)發(fā)現(xiàn)，這項(xiàng)識(shí)別并去除陰影的AI算法在人像處理方面表現(xiàn)最佳，未來(lái)幾年，這項(xiàng)技術(shù)可能會(huì)被廣泛應(yīng)用到智能手機(jī)中，幫助用戶輕松處理復(fù)雜的修圖問(wèn)題。
那么這項(xiàng)技術(shù)是如何做到呢？
研究人員稱，其方法主要依賴于一對(duì)神經(jīng)網(wǎng)絡(luò)，一個(gè)是去除外部物體投射的外界陰影（Foreign Shadows），另一個(gè)是柔化由對(duì)象特征投射的面部陰影（Facial Shadows），并添加合成補(bǔ)光來(lái)提高照明率。在此框架的基礎(chǔ)上，通過(guò)以下具體技術(shù)實(shí)現(xiàn)達(dá)成了圖像修復(fù)效果：
大規(guī)模訓(xùn)練數(shù)據(jù)集：用于訓(xùn)練和評(píng)估針對(duì)異物陰影，面部陰影和虛擬補(bǔ)光的機(jī)器學(xué)習(xí)模型。
對(duì)稱面部圖像生成：用于顯式編碼對(duì)稱提示，以訓(xùn)練面部陰影模型。
研究人員強(qiáng)調(diào)，他們的數(shù)據(jù)和模型獲得的肖像增強(qiáng)效果，在數(shù)字指標(biāo)和感知質(zhì)量方面均優(yōu)于所有基線方法。
接下來(lái)，我們來(lái)詳細(xì)介紹具體的技術(shù)原理和實(shí)驗(yàn)結(jié)果。
需要說(shuō)明的是，圖像中陰影的檢測(cè)和去除一直是計(jì)算機(jī)視覺(jué)研究的中心問(wèn)題，傳統(tǒng)的解決方案需要手動(dòng)標(biāo)記圖像中的“陰影”或“亮”的區(qū)域，然后通過(guò)全局優(yōu)化技術(shù)（例如圖形切割）來(lái)解決陰影問(wèn)題。顯然這種手動(dòng)方式在很大程度上限制了技術(shù)的適用性。
而本次研究的AI算法利用機(jī)器學(xué)習(xí)模型，實(shí)現(xiàn)了全自動(dòng)化的陰影檢測(cè)和處理。如上文所說(shuō)，這套算法解決方案分為兩個(gè)部分：一是外界陰影處理，而是面部陰影處理。
外界陰影。研究人員介紹，為了訓(xùn)練外界陰影的機(jī)器學(xué)習(xí)模型，他們構(gòu)建了一個(gè)真實(shí)人像的數(shù)據(jù)集，該數(shù)據(jù)集大約有5000張圖像，用于合成外界陰影的圖像。具體的運(yùn)行過(guò)程如下圖：
圖中的輸入蒙版Min是從目標(biāo)輪廓生成的， Min經(jīng)過(guò)人皮膚的次表面散射（SS）近似生成Mss，然后根據(jù)空間變化和像素強(qiáng)度的變化生成M，最后由陰影蒙版M，結(jié)合原始圖形It和陰影圖像Is混合生成外界陰影圖像。
面部陰影：在這里，研究人員使用Light Stage掃描的數(shù)據(jù)集來(lái)構(gòu)建由小光源照明的輸入/輸出對(duì)，以及每張臉部可變和可補(bǔ)光的輸出圖像。
如圖，每個(gè)OLAT渲染的圖像與下方的光源構(gòu)成圖相對(duì)應(yīng)，隨著Key Light轉(zhuǎn)件分配給可變數(shù)量的鄰居，渲染的圖像的光照強(qiáng)度逐漸減弱。
另外，在這里研究人員提出一種顯式編碼面部對(duì)稱性的方法。研究人員稱，人臉的對(duì)稱性是推理光照的有用線索：人臉的反射率和幾何形狀很可能是對(duì)稱的，但是投射在人臉上的陰影很可能是不對(duì)稱的，利用這一點(diǎn)，將地標(biāo)（Landmarks）檢測(cè)系統(tǒng)應(yīng)用于輸入圖像，并使用恢復(fù)的地標(biāo)圖像生成輸入圖像的的鏡像版本。該鏡像圖像會(huì)附加到網(wǎng)絡(luò)中的輸入圖像中，從而允許網(wǎng)絡(luò)直接推斷出可能由于面部和外部陰影而引起的不對(duì)稱圖像內(nèi)容，進(jìn)而提高性能。
對(duì)比實(shí)驗(yàn)：論文中，研究人員將以上兩種方法與當(dāng)前通用的修復(fù)模型進(jìn)行了比較。從比較中可以看到該模型的優(yōu)勢(shì)顯著。
在外界陰影處理方面，現(xiàn)有研究有圖像分割技術(shù)（Guo）、基于自注意機(jī)制的神經(jīng)網(wǎng)絡(luò)模型（Cun），以及基于學(xué)習(xí)的最新方法（Hu）。
研究人員選用SRD基準(zhǔn)數(shù)據(jù)集進(jìn)行評(píng)估，并計(jì)算了PSNR，SSIM，以及基本事實(shí)與輸出之間的學(xué)習(xí)感知度量LPIPS。結(jié)果該模型大大優(yōu)于這些基準(zhǔn)。如下圖：
另外，從測(cè)試的圖像上來(lái)看。 Guo等方法錯(cuò)誤地將深色圖像區(qū)域識(shí)別為陰影并將其刪除，同時(shí)也未能識(shí)別出真實(shí)陰影部分。Cun和Hu的深度學(xué)習(xí)方法，在正確識(shí)別陰影區(qū)域方面做得很好，但可能無(wú)法完全去除陰影，而且更改了圖像原來(lái)的整體亮度和色調(diào)。
對(duì)比之下，本次研究的模型能夠完全去除外來(lái)陰影，同時(shí)仍保留被攝體的整體外觀。
在面部陰影處理方面，研究人員與Sun等人的PR網(wǎng)絡(luò)進(jìn)行比較。結(jié)果如下圖，PR-net在包含粗糙臉部陰影的圖像上表現(xiàn)不佳，并且在訓(xùn)練過(guò)程中刪除串聯(lián)的“鏡像”輸入會(huì)降低所有這三個(gè)指標(biāo)的準(zhǔn)確性。
最后要說(shuō)明的是面部陰影的柔和和補(bǔ)光效果。輸入的圖像很可能包含粗糙的面部陰影，例如臉頰、眼睛周圍（如下圖）。從下圖可以看出，將面部陰影柔化模型與可變的“光度” M結(jié)合應(yīng)用會(huì)產(chǎn)生更柔和的圖像陰影，如bc列。
研究人員介紹稱，鏡面反射也被抑制是一種理想的攝影實(shí)踐，因?yàn)殓R面高光通常會(huì)分散和遮蓋對(duì)象的表面。此外，該模型的亮度比分量通過(guò)在此處與檢測(cè)到的琴鍵相反的方向形成的強(qiáng)度為訓(xùn)練中使用的最大值的合成補(bǔ)光度，從而降低了由面部陰影（d）引起的對(duì)比度。
不過(guò)，目前算法還是存在一定的局限性，比如模型有時(shí)無(wú)法去除雙邊對(duì)稱的陰影。因?yàn)殛幱霸鰪?qiáng)模型的訓(xùn)練數(shù)據(jù)是通過(guò)增加光的大小來(lái)渲染的，所以簡(jiǎn)單的亮度設(shè)置會(huì)偏向于生成看起來(lái)模糊的圖像。
更多論文詳細(xì)內(nèi)容請(qǐng)參考：https://arxiv.org/pdf/2005.08925.pdf
引用鏈接：（雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)）
https://www.diyphotography.net/harsh-sunlight-no-problem-this-ai-removes-all-those-unwanted-shadows/
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
