0
| 本文作者： camel | 2017-08-25 10:07 |
雷鋒網(wǎng)AI科技評論按：用圖像來重建3D數(shù)字幾何結(jié)構(gòu)是計算機(jī)視覺領(lǐng)域一個非常核心的問題。這種技術(shù)在許多領(lǐng)域都有廣泛的應(yīng)用，例如電影制作、視頻游戲的內(nèi)容生成、虛擬現(xiàn)實和增強(qiáng)現(xiàn)實、3D打印等等。伯克利人工智能研究中心的Christian H?ne等人近日發(fā)表一篇論文《Hierarchical Surface Prediction for 3D Object Reconstruction》，論文中他們討論如何從單張色彩圖像重建出高質(zhì)量的3D幾何結(jié)構(gòu)，就像下面這幅圖所顯示的。雷鋒網(wǎng)編譯如下。
對于我們?nèi)祟悂碚f，即使只看到一張圖像，我們也能毫不費力地對物體和場景的形狀進(jìn)行理解。請注意，我們眼睛的雙目效果允許我們感知深度，我們不需要了解物體3D幾何結(jié)構(gòu)。所以即使我們只是看到一個實體的照片，我們也能對它的形狀有很好的感知。不僅如此，我們還能理解物體看不見的部分（例如背面），這對抓取物體這樣的動作來說是非常重要的。于是問題就來了，我們?nèi)祟愂侨绾螐膯螐垐D像推出物體的幾何結(jié)構(gòu)的呢？在人工智能這個方面，我們怎么才能教會機(jī)器掌握這個能力呢？
由任意的輸入圖像來重建其3D幾何結(jié)構(gòu)，基本的原理就是：物體形狀不是任意的，因此有些形狀是可能的，而有些是不可能的。一般來說，物體的表面往往是光滑的，尤其是人造物體，常常就是由幾個分段的平面構(gòu)成。對于預(yù)測物體，我們可以使用同樣的規(guī)則。例如，飛機(jī)通常具有機(jī)身，兩側(cè)附接兩個主翼，后側(cè)會安裝有垂直穩(wěn)定翼。人類能通過眼睛觀察世界，并用手來與世界進(jìn)行互動，然后獲得這樣的知識。在計算機(jī)視覺中，“形狀不是任意的”這個事實允許我們通過收集大量的示例形狀，來將一個對象類或者多個對象類的所有可能形狀描述成低維形狀空間。
使用CNN來預(yù)測體素（Voxel Prediction）
最近Choy，Girdhar等人發(fā)表了他們關(guān)于3D重建的論文，在他們的工作中他們的“輸出”是一個3D體積空間，這個3D體積被細(xì)分成體積元素（稱為體素，voxel），每個體素會有一個分配（被占據(jù)或自由空間），而物體形狀的預(yù)測則表示為由體素組成的3D占據(jù)體積。在他們的模型中“輸入”通常為一個描述物體的單色圖像，然后他們用卷積網(wǎng)絡(luò)神經(jīng)（CNN）的上卷積解碼器架構(gòu)來預(yù)測這個占據(jù)體積。該網(wǎng)絡(luò)由端對端進(jìn)行訓(xùn)練，并且由已知的ground truth占據(jù)體積（通過合成CAD模型數(shù)據(jù)集獲得）來進(jìn)行監(jiān)督學(xué)習(xí)。通過這種3D表示（體素）以及CNN，這種模型就可以學(xué)習(xí)，且能夠適應(yīng)各種對象類。
上述方法（使用CNN預(yù)測占據(jù)體積）有一個很大的缺點，由于其輸出空間是三維的，于是相對增加的分辨率就會以立方的形式增長。這個問題使得這種方法難以預(yù)測高質(zhì)量的幾何形狀，且限于比較粗糙的分辨率體素網(wǎng)格，例如上面32^3的結(jié)果。在Christian H?ne等人的工作中，他們認(rèn)為這是一個不必要的限制，因為表面實際上只是二維的。于是他們通過層進(jìn)的方式利用表面的二維性質(zhì)來預(yù)測精細(xì)分辨率體素，此時只需要對表面進(jìn)行高分辨率的預(yù)測即可。其基本思想和八叉樹表示的思想關(guān)系很近，八叉樹表示通常是用于多視圖立體聲和深度圖融合等領(lǐng)域來表示高分辨率的幾何結(jié)構(gòu)。
方法
在這個3D預(yù)測模型（稱為層進(jìn)表面預(yù)測（Hierarchical Surface Prediction, HSP））中，首先我們輸入一張單色圖像，用卷積編碼器將其編碼為低維表示。然后，將該低維表示解碼成3D占用體積。其主要思想是通過預(yù)測低分辨率體素開始解碼。關(guān)鍵之處在于，不同于標(biāo)準(zhǔn)的方法將體素分為占據(jù)／自由空間，HSP會將體素分為三類：自由空間、占據(jù)空間和邊界。使用這種方法，“輸出”的分辨率可以很低，只要保證在那些有跡象表明它包含“邊界”的部分有較高的分辨率即可。通過迭代，我們可以層進(jìn)地預(yù)測出高分辨率的體素網(wǎng)格。模型更多的細(xì)節(jié)可以參看論文，這里就不再詳解。
實驗
模型的實驗主要利用了合成的ShapeNet數(shù)據(jù)集進(jìn)行訓(xùn)練。作者將結(jié)果與兩個基線模型——硬低分辨率模型（low resolution hard，LR hard）和軟低分辨率模型（low resolution soft，LR soft））——進(jìn)行了對比。這兩個基線模型都是以32^3粗分辨率進(jìn)行預(yù)測，只是訓(xùn)練數(shù)據(jù)的生成方式不同。LR hard對體素使用雙分法進(jìn)行分配，即如果在相應(yīng)的高分辨率體素中至少一個被占用，則所有體素將被標(biāo)記為被占用。LR soft則使用分?jǐn)?shù)法進(jìn)行分配，每一個體素將反映出在相關(guān)的高分辨率體素中占有的百分比。HSP方法則以256^3的分辨率進(jìn)行預(yù)測。下面的結(jié)果顯示，HSP方法與基線方法相比，在表面質(zhì)量和高分辨率預(yù)測的完整性方面表現(xiàn)更好。
雷鋒網(wǎng)注——
本文參考了：High Quality 3D Object Reconstruction from a Single Color Image
相關(guān)論文連接：
1、Hierarchical Surface Prediction for 3D Object Reconstruction（Christian H?ne等）
2、3D-R2N2: A Unified Approach for Single and Multi-view 3D Object Reconstruction（Choy等）
3、Learning a Predictable and Generative Vector Representation for Objects（Girdhar等）
4、ShapeNet: An Information-Rich 3D Model Repository（關(guān)于ShapeNet數(shù)據(jù)集的論文）
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
