雷鋒網(wǎng) AI科技評(píng)論按，本文作者究竟灰，本文首發(fā)于知乎，雷鋒網(wǎng) AI科技評(píng)論獲其授權(quán)轉(zhuǎn)載。

雷鋒網(wǎng)注：本文為下篇，內(nèi)容為第三章：稠密重建和第四章：稠密重建。第一章和第二章參見CCCV2017講習(xí)班筆記-基于圖像的大規(guī)模場(chǎng)景三維重建（上）

3.稠密匹配

稠密匹配是MVS.基本思路是

兩視圖的一致性。

一致性度量主要包括三個(gè)：

1. SSD(Sum of Squared Differences):平常差的和

2. SAD(Sum of Absolute Differences):絕對(duì)值差的和

3. NCC(Normalized Cross Correlation):歸一化的交叉關(guān)系

多視圖圖像一致性需要考慮相機(jī)的可視性問題。

但是：相機(jī)可視性需要場(chǎng)景結(jié)構(gòu)、場(chǎng)景結(jié)構(gòu)需要相機(jī)可視性

MVS算法主要分為三種：

1. 基于體素的方法：Voxel based MVS

2. 基于點(diǎn)云擴(kuò)散的方法：Feature point growing based MVS

3. 基于深度圖融合的方法：Depth-map merging based MVS

基于體素的方法

體素的表達(dá)，并且說(shuō)明其MVS等價(jià)于一個(gè)3D空間Voxel的標(biāo)記問題。

優(yōu)化方法：用馬爾科夫隨機(jī)場(chǎng)優(yōu)化。

離散空間的Labeling是典型的MRF優(yōu)化問題。其中的兩項(xiàng)分別是一致性項(xiàng)和氣球膨脹。

一致性項(xiàng)表達(dá)兩點(diǎn)一致。氣球膨脹表達(dá)的是強(qiáng)制傾向于把點(diǎn)分成內(nèi)點(diǎn)。因?yàn)槿绻患託馇蚺蛎洠恢滦皂?xiàng)會(huì)把點(diǎn)都分成外點(diǎn)，所以要加一個(gè)反向的力量。

兩視圖一致性計(jì)算：

其中如何魯棒投票尋找局部極值集中的點(diǎn)很重要。

MRF優(yōu)化問題求解：Graph-cuts

重建結(jié)果：

體素問題是占內(nèi)存，即使很小的體素也要很大內(nèi)存。于是提出以下方法，主要思路是自適應(yīng)多分辨率網(wǎng)格，在物體表面高分辨率、其他區(qū)域低分辨率。

基于體素方法MVS的并行分布Graph-cuts

基于體素方法的優(yōu)缺點(diǎn)：

基于特征點(diǎn)擴(kuò)散的MVS

方法顧名思義。

講了3D點(diǎn)的Patch形式表達(dá)。patch在圖像上有投影。

步驟：

1. 生成初始點(diǎn)云：檢測(cè)Harris與DoG，其中Harris偏向檢測(cè)外側(cè)的角點(diǎn)，而DoG偏向于檢測(cè)內(nèi)部紋理豐富的點(diǎn)

2. 點(diǎn)云擴(kuò)散：3D點(diǎn)投影到圖像，并向投影點(diǎn)周圍區(qū)域擴(kuò)散

3. 點(diǎn)云過濾：去除深度值不一致且一致性較低的點(diǎn)，意思是如果擴(kuò)散的點(diǎn)云在其他圖特征點(diǎn)的點(diǎn)云前面了，通過比較各自的一致性來(lái)剔除；如果擴(kuò)散點(diǎn)云跑到后邊去了，也比較一致性。這樣就能去除深度值不一致且一致性較低的點(diǎn)了。

結(jié)果：

優(yōu)缺點(diǎn)：

基于深度圖融合的MVS

人的左右眼的立體視覺和深度圖。

轉(zhuǎn)到CV

基于深度圖融合的MVS方法步驟：

1. 為每一幅圖選擇領(lǐng)域圖像構(gòu)成立體圖像組：關(guān)鍵如何選擇鄰域圖像組

2. 計(jì)算每一幅圖像的深度圖：關(guān)鍵如何計(jì)算深度圖

3. 深度圖融合

4. 抽取物體表面

每一幅圖中的深度圖計(jì)算：

聚合：對(duì)比了SAD聚合和Adaptive weight

對(duì)比：

這里講了Oriented plane方法，估計(jì)空間平面方向

空間平面方向估計(jì)PathMatch，相機(jī)坐標(biāo)系下空間面片表達(dá)為d深度的一個(gè)自由度，n法向量的兩個(gè)自由度。

接著講了兩視圖PathMatch Stereo，先隨機(jī)申城像素深度和法向量，然后傳播。

主要用了隨機(jī)的思想，檢測(cè)領(lǐng)域點(diǎn)的深度和法向量，檢測(cè)加了擾動(dòng)之后的點(diǎn)，檢測(cè)立體圖像對(duì)對(duì)應(yīng)點(diǎn)是否更好，檢測(cè)前后幀同一位置是否更好。反復(fù)幾次。

這種方法是基于大數(shù)定律的。

多視圖PathMatch MVS:

多視圖PathMatch中領(lǐng)域圖像組的選擇：視線夾角、物距、覆蓋度、分散度等。主要通過稀疏點(diǎn)云計(jì)算。領(lǐng)域圖像組選擇是一個(gè)NP-hard問題。

逐像素點(diǎn)領(lǐng)域選擇：

通過EM算法來(lái)做逐像素點(diǎn)選擇領(lǐng)域圖像組（最大化后驗(yàn)概率）

基于深度圖融合的MVS優(yōu)缺點(diǎn)：

稠密重建總結(jié)

4.資源

主要是算法、數(shù)據(jù)集和應(yīng)用

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。