日本在线看黄a美女久草|日本动漫亚洲在线一区|日韩人妻无码免费视频|A√有码中文字幕|日韩一级片视频热久久久|一区二区三区四区精品无码在线|亚洲AV成人无码一二三app|亚洲综合图片绯色|91极品人妻在线网站|国产成人精品一区二三区四区五区

您正在使用IE低版瀏覽器,為了您的雷峰網(wǎng)賬號(hào)安全和更好的產(chǎn)品體驗(yàn),強(qiáng)烈建議使用更快更安全的瀏覽器
此為臨時(shí)鏈接,僅用于文章預(yù)覽,將在時(shí)失效
人工智能 正文
發(fā)私信給劉鵬
發(fā)送

2

南加州大學(xué) phd 王薇月:深度學(xué)習(xí)在點(diǎn)云分割中的應(yīng)用 | 分享總結(jié)

本文作者: 劉鵬 2018-07-06 18:13
導(dǎo)語:隨著激光雷達(dá),RGBD 相機(jī)等 3D 傳感器在機(jī)器人,無人駕駛領(lǐng)域的廣泛應(yīng)用,深度學(xué)習(xí)在三維點(diǎn)云數(shù)據(jù)的研究在近兩年取得了廣泛關(guān)注。

雷鋒網(wǎng) AI 科技評(píng)論按:隨著激光雷達(dá),RGBD 相機(jī)等 3D 傳感器在機(jī)器人,無人駕駛領(lǐng)域的廣泛應(yīng)用,深度學(xué)習(xí)在三維點(diǎn)云數(shù)據(jù)的研究在近兩年取得了廣泛關(guān)注。點(diǎn)云分割、識(shí)別、檢測成為學(xué)術(shù)界、工業(yè)界的熱門話題之一。

近期,在 GAIR 大講堂上,南加州大學(xué)計(jì)算機(jī)系在讀博士王薇月分享了其關(guān)于點(diǎn)云分割的最新工作。

王薇月,南加州大學(xué)計(jì)算機(jī)系在讀博士,導(dǎo)師是 Ulrich Neumann 教授,主要研究方向?yàn)橛?jì)算機(jī)視覺,三維視覺等。其研究工作曾在 CVPR、ICCV、ECCV 等發(fā)表。公開課回放鏈接:http://www.mooc.ai/open/course/501

分享題目:深度學(xué)習(xí)在點(diǎn)云分割中的應(yīng)用

分享提綱

  1. 深度學(xué)習(xí)在點(diǎn)云上的應(yīng)用。

  2. 2D 圖像的實(shí)例分割與物體檢測。

  3. SGPN [CVPR 2018]:點(diǎn)云的實(shí)例分割與物體檢測。(SGPN: Similarity Group Proposal Network for 3D Point Cloud Instance Segmentation)

  4. RSNet [CVPR 2018]:點(diǎn)云的語義分割。(Recurrent Slice Networks for 3D Segmentation on Point Clouds)

以下為雷鋒網(wǎng) AI 科技評(píng)論整理的分享內(nèi)容:

南加州大學(xué) phd 王薇月:深度學(xué)習(xí)在點(diǎn)云分割中的應(yīng)用 | 分享總結(jié)

大家好,我是來自南加州大學(xué)的在讀 phd 王薇月,我的主要研究方向是 computer vision(主要側(cè)重于 3D 的 vision),今天我們介紹的是深度學(xué)習(xí)在點(diǎn)云分割中的應(yīng)用。我們知道三維物體和場景有很多種的表達(dá)方式,比如 3D 的 mesh,還有 Volumetric data,distance field 等等。點(diǎn)云是比較直接,而且很簡單的一種表示方式。首先介紹一下什么是點(diǎn)云(Pinot Cloud),點(diǎn)云是很多三維的點(diǎn)的坐標(biāo)的集合,這整個(gè)集合可以反映場景或者物體的幾何信息,在計(jì)算機(jī)里面,它就是一個(gè) N*3 維的一個(gè)矩陣,N 代表的是點(diǎn)的個(gè)數(shù),三維就是 x、y、z 的坐標(biāo)(當(dāng)然也可以是 N*6,即 x、y、z、r、g、b),隨著激光、雷達(dá)和深度攝像頭等硬件設(shè)備的發(fā)展,我們就能更好地捕捉 3D 的場景,處理 3D 信息也是現(xiàn)在的一個(gè)非常關(guān)注、非?;鸬脑掝}。采集點(diǎn)云的主要方式就是激光雷達(dá)、深度攝像頭(深度攝像頭采集來的 depth map 可以通過照相機(jī)的參數(shù)計(jì)算出 3D 的點(diǎn)云)。我們今天的講課專注點(diǎn)云的分割。

南加州大學(xué) phd 王薇月:深度學(xué)習(xí)在點(diǎn)云分割中的應(yīng)用 | 分享總結(jié)

所謂點(diǎn)云的分割,今天我想介紹的有兩層,一層是語義分割和實(shí)例分割,所謂語義分割就是給每個(gè)點(diǎn) assign 一個(gè) label,比如說這個(gè)點(diǎn)是桌子還是椅子。實(shí)例分割就是在 assign 語義分割的同時(shí),把每個(gè)不同的物體給分割出來,比如一個(gè)房間里有很多椅子,每個(gè)點(diǎn)標(biāo) label 成椅子 1、椅子 2。實(shí)例分割與物體檢測,即 object detection 是緊密相連的,object detection:給一個(gè)場景,把你想要的物體檢測出來并給一個(gè) bounding box。實(shí)例分割是比物體檢測要稍微難一點(diǎn)的問題,因?yàn)樗枰o每個(gè)點(diǎn)都要標(biāo)出來。今天主要介紹在最新的 CVPR 上的兩個(gè)工作,一個(gè)是對(duì)點(diǎn)云進(jìn)行實(shí)例分割的網(wǎng)絡(luò):similarity group proposal network,還有一個(gè)是對(duì)點(diǎn)云進(jìn)行語義分割的網(wǎng)絡(luò),recurrent slice network。

首先介紹 SGPN:實(shí)例分割的網(wǎng)絡(luò)

南加州大學(xué) phd 王薇月:深度學(xué)習(xí)在點(diǎn)云分割中的應(yīng)用 | 分享總結(jié)

在此之前,我想先回顧一下 2D 是怎么做實(shí)例分割和物體檢測的。

南加州大學(xué) phd 王薇月:深度學(xué)習(xí)在點(diǎn)云分割中的應(yīng)用 | 分享總結(jié)

我們都知道 2D CNN 在物體檢測上取得了比較好的成果,就是 R-CNN 一系列的工作,包括 fast R-CNN,都是從 R-CNN 開始的,R-CNN 是使用 selective search 從圖片中提取一些用 Region Proposal,然后把每一個(gè) proposal fit 到 CNN 的網(wǎng)絡(luò)里面,然后再進(jìn)行分類,它用這種方法來進(jìn)行物體檢測。根據(jù) R-CNN 的工作,faster R-CNN 替代了 selective search,通過 Region Proposal network 來 regress 每個(gè) Region Proposal 的相對(duì) anchor 的 offset 來獲取 proposal,然后這整個(gè)是一個(gè) end-to-end 的網(wǎng)絡(luò),出來的就是一些 pixel 的 bounding box,還有每個(gè) bounding box 代表的每個(gè)物體的概率。根據(jù) faster R-CNN 的 ICCV 的 best paper 是 Mask R-CNN,它是通過做圖像 level 的實(shí)例分割來實(shí)現(xiàn),它們沿用了 faster R-CNN 的 Region Proposal network,然后在生成了 bounding box 的基礎(chǔ)上又生成了 object mask,我們也使用這種 Region Proposal 的概念,然后對(duì)點(diǎn)云進(jìn)行分割,隨后我會(huì)對(duì)此進(jìn)行詳細(xì)的介紹。

南加州大學(xué) phd 王薇月:深度學(xué)習(xí)在點(diǎn)云分割中的應(yīng)用 | 分享總結(jié)

還有一個(gè)相關(guān)的工作是 3D 的 deep learning,從 2D 的 CNN 到 3D 的 CNN,最直接的方法就是 Volumetric CNN,當(dāng)然這個(gè)是因?yàn)槭艿?GPU 內(nèi)存的限制,沒有辦法做到很高的精度。去年 CVPR 上斯坦福的研究者們提出了 PointNet,是針對(duì) point cloud 的網(wǎng)絡(luò),他們把 N*3 的點(diǎn)云 feed 到網(wǎng)絡(luò)里面,然后在最后一層用 max pooling 提取 global feature,然后把這個(gè) global feature concat 到每一個(gè)點(diǎn)云,然后進(jìn)行分割,我們的網(wǎng)絡(luò)建立在 pointnet 和它的后續(xù)工作 pointnet++的基礎(chǔ)上提取出來 feature。

南加州大學(xué) phd 王薇月:深度學(xué)習(xí)在點(diǎn)云分割中的應(yīng)用 | 分享總結(jié)

我們還有一個(gè)相關(guān)的工作是,deep metric learning,中文:度量學(xué)習(xí),在 deep learning 里面比較典型的 metric learning 就是 siamese network,比如說有兩張圖片,我們想讓它做分類的話,同一類在 feature space 里面很相近,不同類就是在 feature space 里面相差比較遠(yuǎn),它們的兩張圖片 feed 到的 CNN,是 share 的 weight,project 到同一個(gè) feature space 上,訓(xùn)練的時(shí)候用的是 Hinge Loss(即圖右公式)。

南加州大學(xué) phd 王薇月:深度學(xué)習(xí)在點(diǎn)云分割中的應(yīng)用 | 分享總結(jié)

注:公式講解可回放視頻至第 7 分鐘查看

之后會(huì)講我們的工作跟 simaese network 的關(guān)系,先簡單介紹一下背景,之前說過,我們的任務(wù)是想生成一個(gè) instance label 和一個(gè) semantic segmentation label,也就是說對(duì)于每個(gè)點(diǎn)云有兩個(gè) label,一個(gè) label 代表著這個(gè)點(diǎn)云是屬于椅子 1 還是椅子 2 的,另一個(gè) label 代表它是椅子還是桌子,還是電視等等,背景知識(shí)已經(jīng)介紹完畢了。我們是建立在 pointnet 和 pointnet++基礎(chǔ)上進(jìn)行 feature 提取,然后借用 R-CNN 等工作的 Region Proposal 的思想,提出了一個(gè)叫 similarity group proposal 的 network,我們現(xiàn)在把它簡化為 SGPN。

南加州大學(xué) phd 王薇月:深度學(xué)習(xí)在點(diǎn)云分割中的應(yīng)用 | 分享總結(jié)

SGPN 的大體思路是這樣的,我們首先是用 pointnet 提取 feature,也可用 pointnet++,提起完 feature 之后,之后有 3 部分(下圖中間部分),similarity matrix,confidence map,semantic prediction,我下面會(huì)對(duì)這三個(gè)部分進(jìn)行一一介紹。

南加州大學(xué) phd 王薇月:深度學(xué)習(xí)在點(diǎn)云分割中的應(yīng)用 | 分享總結(jié)

首先是 semantic prediction,semantic prediction 跟 pointnet 的 semantic segmentation 是一樣的,對(duì)于每個(gè)點(diǎn)生成的是一個(gè) classic 的 probability,就是對(duì)于每個(gè) class 它的概率是多大,比如說我們有 Np 個(gè)點(diǎn),就生成了 Np*NC 的 matrix,NC 就是有多少個(gè) object class,下面的這個(gè)結(jié)果就是 semantic prediction 的結(jié)果,比如下圖(右)黃色區(qū)域代表桌子,藍(lán)色區(qū)域代表椅子。

南加州大學(xué) phd 王薇月:深度學(xué)習(xí)在點(diǎn)云分割中的應(yīng)用 | 分享總結(jié)

下面來介紹 similarity matrix,similarity matrix 就是對(duì)于每一個(gè)點(diǎn),我們想生成 N 個(gè)點(diǎn)相對(duì)于它的位置,也就是說對(duì)于 similarity matrix 是通過 pointnet 生成的那個(gè) feature,我們管它叫 Fsim,通過它進(jìn)行計(jì)算它的 pointwise 的 distance,對(duì)于這個(gè) similarity matrix,假設(shè)它叫做一個(gè) ij 的元素,Sij 就是 point i 和 point j 在 feature space 的距離,如果它距離越遠(yuǎn),說明它們兩個(gè)就不在同一個(gè) group,如果距離越近,就說明在同一個(gè) group,也就是說如果兩個(gè)點(diǎn)都是椅子 1 的話,它們

南加州大學(xué) phd 王薇月:深度學(xué)習(xí)在點(diǎn)云分割中的應(yīng)用 | 分享總結(jié)

注:該公式詳細(xì)解讀可回放視頻至第 10 分鐘查看

兩個(gè)在 feature 里的距離比較近。如果椅子 1 和椅子 2 在 feature space 里面距離比較遠(yuǎn),或者說它們是椅子和桌子的話,它們兩個(gè)在 feature space 里面的距離也要非常遠(yuǎn)。然后,我們有這樣一個(gè) Np(點(diǎn)的個(gè)數(shù)),有這樣一個(gè) Np*Np 的 similarity matrix,就是說每一行都可以是一個(gè) group proposal,我們要設(shè)一個(gè) threshold,如果小于這個(gè) threshold,對(duì)于每一個(gè)小于這個(gè) threshold,表示這些點(diǎn)在一個(gè) group 里面,也就是說我們現(xiàn)在有 Np 個(gè) group proposal,現(xiàn)在的問題就是我們?cè)趺慈?train 這個(gè) matrix,它的 Ground Truth 是什么?

我們剛才講過了 siamese network,就是說兩個(gè)圖片如果是一類的話,就讓它們?cè)?feature specs 里面的距離很小。如果它們不是一類的話,就讓它們距離比較大,所以我們通過采用這種方式,借用這個(gè)思想,來訓(xùn)練我們的 similarity matrix,如果兩個(gè)點(diǎn)屬于不同類的話,我們就讓它們的距離很大。如果它們是相同類的話,我們就讓它們?cè)?feature specs 里面的距離比較小,我們同樣得使用的是 Hingle loss,兩個(gè)點(diǎn)都是椅子 1 的話,我們就 minimize 這個(gè) term(下圖右下公式),在這里介紹一個(gè) double hinge loss,也就是說兩個(gè)點(diǎn),一個(gè)椅子 1、一個(gè)椅子 2 的話,我們讓它們的 margin 比 K1 大。如果兩個(gè)點(diǎn)是一個(gè)桌子、一個(gè)椅子的話,我們就讓它們的距離比 K2 大,在訓(xùn)練的時(shí)候 K1 要比 K2 小一點(diǎn),在實(shí)驗(yàn)中我們發(fā)現(xiàn)用這種 double hinge loss 的方式,會(huì)讓結(jié)果更好一點(diǎn),比 K1=K2 的時(shí)候結(jié)果好一點(diǎn),這樣我們就訓(xùn)練出了 similarity matrix。

南加州大學(xué) phd 王薇月:深度學(xué)習(xí)在點(diǎn)云分割中的應(yīng)用 | 分享總結(jié)

注:該公式詳細(xì)解讀可回放視頻至第 12 分鐘查看

大家可以來看一下這些 visualize 的結(jié)果,這些代表的是 similarity,越黑的表示 feature specs 它們的距離越近,顏色越淺,就表示它們 feature specs 距離越遠(yuǎn)。

南加州大學(xué) phd 王薇月:深度學(xué)習(xí)在點(diǎn)云分割中的應(yīng)用 | 分享總結(jié)

注:此處詳細(xì)講解可回放視頻至第 14 分鐘時(shí)查看

介紹完了 similarity matrix,我們?cè)賮斫榻B另一個(gè)部分:confidence map。

南加州大學(xué) phd 王薇月:深度學(xué)習(xí)在點(diǎn)云分割中的應(yīng)用 | 分享總結(jié)

因?yàn)?similarity matrix 是個(gè) Np*Np 的矩陣,也就是說我們有 Np 個(gè) group proposal,這樣就有很多冗余,我們想用這個(gè) confidence map 削減一些 group proposal,confidence map 的定義,也就是說它的 ground truth 是如下定義的。

南加州大學(xué) phd 王薇月:深度學(xué)習(xí)在點(diǎn)云分割中的應(yīng)用 | 分享總結(jié)

對(duì)于 similarity matrix 的每一個(gè)行,我們是一個(gè) group proposal,對(duì)于這一個(gè) group proposal,我們有一個(gè) ground truth,然后我們把這個(gè)通過 similarity matrix 預(yù)測出來的 prediction 的結(jié)果和 ground truth 進(jìn)行比較,我們計(jì)算 IoU,IoU 就是 inter section over union,也就是說,如果 IoU 越大的話,表示這一行,也就是這個(gè) similarity propose 出來的結(jié)果更可信。如果 IoU 更小的話,是更不可信的,這樣我們就 regress 出來 confident map,然后在這里,我們也 visualize 這些 confidence,顏色越深表示 confidence 越高,顏色越淺表示 confidence 越低,我們可以看到著一些 connection part,連接處的 confidence 比較低,通過這些方式去排除掉一些噪聲,相當(dāng)于在 similarity matrix 的預(yù)測削減掉一些 similarity matrix confidence 比較低的 group proposal。

之后,像 R-CNN、faster R-CNN 它們有一些 post processing,它們會(huì)多預(yù)測出來一些 region proposal,然后就會(huì)用 threshold 的方法去 prove 這些結(jié)果,我們也同樣用一個(gè)比較簡單的貪婪法去 prove 這個(gè)結(jié)果,效果也是非常不錯(cuò)的,對(duì)于網(wǎng)絡(luò)預(yù)測出來的一些 group proposal,對(duì)于每一個(gè),先 initialize 一個(gè)大的 group set,如果這個(gè) group proposal 是沒有出現(xiàn)在這個(gè) group set 里面,我們就把它放進(jìn)去,如果出現(xiàn)了的話,我們就進(jìn)行下一個(gè),這樣就做了一個(gè) post processing,就得到了最終的結(jié)果,下面是一些實(shí)驗(yàn)結(jié)果。

南加州大學(xué) phd 王薇月:深度學(xué)習(xí)在點(diǎn)云分割中的應(yīng)用 | 分享總結(jié)

在介紹實(shí)驗(yàn)結(jié)果之前,我們先簡單介紹一種非常簡單的均類方法,就是在所有的點(diǎn)里面選一些種子,然后進(jìn)行 BFS 去 search 到最近的零點(diǎn),然后去尋找跟它最近的相同的 label,如果它們有一個(gè) threshold,如果大于這個(gè) threshold 就停止,如果小于這個(gè) threshold,就繼續(xù)尋找。相同的 label group 起來,就形成了一個(gè)新的 instance,就是我們的一個(gè) group,然后通過跟這個(gè)方法進(jìn)行比較,因?yàn)樵?literature 上面進(jìn)行點(diǎn)云實(shí)例分割的文章比較少,我們就用這種比較簡單的方法進(jìn)行比較。

南加州大學(xué) phd 王薇月:深度學(xué)習(xí)在點(diǎn)云分割中的應(yīng)用 | 分享總結(jié)

可以看到,這個(gè)是 stanford 3D indoor semantic dataset 上面,然后我們?nèi)〉玫慕Y(jié)果比 seg-cluster 好很多。我們有了 instance segmentation 之后,就很容易得到 3D 的 object detection 結(jié)果,因?yàn)槲覀冇辛嗣總€(gè) instance,每個(gè)點(diǎn)的位置,我們就可以計(jì)算 bounding box,然后去跟 Ground Truth 的 bounding box 比較,pointnet 也給了一個(gè) framework 去做 instance segmentation,可以看到我們比它們也是好很多。

南加州大學(xué) phd 王薇月:深度學(xué)習(xí)在點(diǎn)云分割中的應(yīng)用 | 分享總結(jié)

注:此放大部分的詳細(xì)講解可回放視頻至第 19 分鐘查看,不同的顏色代表不同的 group,即不同的 instance。

南加州大學(xué) phd 王薇月:深度學(xué)習(xí)在點(diǎn)云分割中的應(yīng)用 | 分享總結(jié)

seg-cluster 有不同的 threshold,hreshold 變大的時(shí)候,也就是說兩個(gè)相同 label 的物體更容易連接在一起,如果 threshold 變小的時(shí)候就更不容易連接在一起,threshold 變小的時(shí)候,結(jié)果就如上圖(右部)所示,將它分成了兩個(gè)部分,但是在 SGPN 中就會(huì)避免這個(gè)問題,通過 similarity matrix 的方法,建立了上面和下面的聯(lián)系。

南加州大學(xué) phd 王薇月:深度學(xué)習(xí)在點(diǎn)云分割中的應(yīng)用 | 分享總結(jié)

除此之外,還在 NYU dataset 上面做了實(shí)驗(yàn),因?yàn)?NYU 有很多 2D 的圖像數(shù)據(jù),包括 depth 信息,然后我們通過 2D 的 CNN 去 refine SGPN 的結(jié)果,因?yàn)橥ㄟ^相機(jī)參數(shù),我們可以把深度圖像換成點(diǎn)云,也就是說每一個(gè)點(diǎn)和每一個(gè)圖像的坐標(biāo)是有聯(lián)系的,于是我們通過幾個(gè) CNN layer,然后聯(lián)系相同的位置的 feature,把 CNN 里的 feature concatenate 到 pointnet 的相同 point 的 feature 里面,然后再進(jìn)行幾個(gè) pointnet 的 layer,再生成 SGPN 的 3 個(gè) sub module 去進(jìn)行 point 的 instance segmentation,在 NYU 的 dataset 上面。

南加州大學(xué) phd 王薇月:深度學(xué)習(xí)在點(diǎn)云分割中的應(yīng)用 | 分享總結(jié)

這是我們的結(jié)果(圖上),SGPN 比 seg-cluster 好很多,我們還進(jìn)行了 3D detection 跟 literature 的比較,因?yàn)?literature 有 Ground Truth 的 bounding box,像床、桌子一些大型的物體,它們的 bounding box 是 loose 的,也就是說,掃描的時(shí)候只是掃描一部分點(diǎn),像有些?clusion,像床、桌子這些點(diǎn)其實(shí)都很小,存在的我們能看到的點(diǎn),在點(diǎn)云中其實(shí)很少的,所以計(jì)算 bounding box,不是很準(zhǔn)確,就是一個(gè) tide 的 bounding box,沒有辦法跟大的 bounding box 去比,所以我們?cè)谶@里(圖右下)只比較了一些小的物體,比 literature 都好一些。

南加州大學(xué) phd 王薇月:深度學(xué)習(xí)在點(diǎn)云分割中的應(yīng)用 | 分享總結(jié)

然后我們看一些更多的 visualize 的 result,這里有在 stanford 3D indoor semanticdataset 上面的,我們還在 scannet 上面做了很多實(shí)驗(yàn),大家感興趣的話,可以去閱讀我們的 paper,有更多的實(shí)驗(yàn)和 application study。

南加州大學(xué) phd 王薇月:深度學(xué)習(xí)在點(diǎn)云分割中的應(yīng)用 | 分享總結(jié)

這個(gè)工作主要是針對(duì),使用深度學(xué)習(xí)的方法去做點(diǎn)云的實(shí)例分割的問題,據(jù)我們所知,應(yīng)該是第一個(gè)用深度學(xué)習(xí)去做這件事情的。

南加州大學(xué) phd 王薇月:深度學(xué)習(xí)在點(diǎn)云分割中的應(yīng)用 | 分享總結(jié)

下面來介紹我們組的另一個(gè)工作,第一作者是我的朋友黃乾桂,我們的這個(gè)工作是做點(diǎn)云的 semantic segmentation,剛才我已經(jīng)介紹了 semantic segmentation,就是給一個(gè) input 的點(diǎn)云,給每一個(gè)桌子、椅子的 label。

南加州大學(xué) phd 王薇月:深度學(xué)習(xí)在點(diǎn)云分割中的應(yīng)用 | 分享總結(jié)

在此之前,我們先簡單介紹一下相關(guān)的工作。剛剛我已經(jīng)介紹了 pointnet,我們也知道 pointnet 就是經(jīng)過幾層 mlp 生成了一個(gè)大的矩陣 feature,然而對(duì)于使用 max pooling 提取 global feature,把每個(gè) global feature concatenate 到 feature 上去,然后進(jìn)行 semantic segmentation。我們可以看到所有的點(diǎn)只有一個(gè) global feature,點(diǎn)與點(diǎn)之間沒有什么聯(lián)系,這樣就喪失了很多 local 的信息,很近的點(diǎn),像 CNN 是可以一層一層傳遞的,這個(gè)就沒有辦法做到這一點(diǎn)。

南加州大學(xué) phd 王薇月:深度學(xué)習(xí)在點(diǎn)云分割中的應(yīng)用 | 分享總結(jié)

斯坦福他們組同樣的人,去年在 NIPS 上提出了 pointnet++,他們是用了 farthest point sample 和 query KNN 來提取 local 的信息,也就是說對(duì)每個(gè)點(diǎn),去找它的 neighborhood,然后去 sample 一些點(diǎn),這樣以此類推,這樣去進(jìn)行 local 信息的獲取。但是我們也知道像 KNN 的話,它的復(fù)雜度是 O(KN) 的,而且它需要每個(gè)點(diǎn)進(jìn)行 query,復(fù)雜度比較高,我們就提出了如下的方法去更好地去做 local dependence 的事情。

南加州大學(xué) phd 王薇月:深度學(xué)習(xí)在點(diǎn)云分割中的應(yīng)用 | 分享總結(jié)

因?yàn)辄c(diǎn)云有 3D 的 structure,我們根據(jù)這種 structure 提出了 recurrent slice network,比如點(diǎn)云是有 x,y,z 三個(gè)方向的信息,我們對(duì) x,y,z 三個(gè)方向進(jìn)行 slice 的切割,然后把點(diǎn)云分成一片、一片的。然后對(duì)每一片用 pointnet 提取 feature,然后通過 RNN 去 update 相鄰片的信息。在 pointnet 提取完特征之后,我們通過 RNN 去 update,然后再通過... 這里我們介紹三個(gè) module 來介紹 local dependence 的信息的建立,下面我一一介紹。

南加州大學(xué) phd 王薇月:深度學(xué)習(xí)在點(diǎn)云分割中的應(yīng)用 | 分享總結(jié)

進(jìn)來一個(gè)點(diǎn)云,沿 z 方向進(jìn)行切割,然后分成好幾片(slice),然后把每一個(gè) slice 單獨(dú)放進(jìn)每一個(gè) pointnet 里面去 proper?信息和 feature,同樣的方法去 max pool 整個(gè) global feature,每一片有一個(gè)小的 global feature。x,y,z 三個(gè)方向都做同樣的操作(如上圖 slice 所示),通過 x 方向 slice,通過 y 方向 slice,同樣的方式做三遍。

南加州大學(xué) phd 王薇月:深度學(xué)習(xí)在點(diǎn)云分割中的應(yīng)用 | 分享總結(jié)

提取完這樣的 feature 之后,我們使用 bidirectional RNN 去 update 這個(gè) feature,因?yàn)橄噜彽?slice 有 local dependence,所以這樣 update feature 的時(shí)候,可以考慮到 local 的信息,而且因?yàn)槭?bidirectional 的,所以不同層的信息也可以相互傳遞,我們通過 bidirectional 傳遞來的、update 過的 feature 是呈現(xiàn)在這個(gè)地方(上圖右),在文章中,我們也對(duì)不同的 RNN 的 module 做了 application study,比如 GRU、STM 等等,大家感興趣可以閱讀我們的?part。

通過 RNN update 過信息之后,我們通過?,也就是像 pointnet 一樣的方法去把每一層對(duì)應(yīng)的信息、每一 slice 對(duì)應(yīng)的信息提取 propogate 到每一個(gè)點(diǎn)上。這樣子每一個(gè)點(diǎn)就既有了 local 的信息,也有了 global 的信息,然后我們?cè)偻ㄟ^ pointnet 的幾個(gè) layer 進(jìn)行 output 做 segmentation。

南加州大學(xué) phd 王薇月:深度學(xué)習(xí)在點(diǎn)云分割中的應(yīng)用 | 分享總結(jié)

同樣是在 stanford indoor 3D data 上面做的,不同的顏色就表示不同的類別。圖(中)是 predict 的結(jié)果,圖(右)是 ground truth,我們得到的結(jié)果還是非常不錯(cuò)的。

南加州大學(xué) phd 王薇月:深度學(xué)習(xí)在點(diǎn)云分割中的應(yīng)用 | 分享總結(jié)

這個(gè)是在 stanford indoor 3D 的結(jié)果,3D cnn 是在這個(gè)數(shù)據(jù)庫做這個(gè)工作的 state-of-the-art,seg-cluster 是用 3D volumatric 的方法去做的,我們的結(jié)果可以看出來比 pointnet 好很多,都比 3D CNN 也好很多。

南加州大學(xué) phd 王薇月:深度學(xué)習(xí)在點(diǎn)云分割中的應(yīng)用 | 分享總結(jié)

我們?cè)?scanNet 上面也進(jìn)行了很多的實(shí)驗(yàn),可以看出來我們比 pointnet++和 pointnet 都要好一些。

南加州大學(xué) phd 王薇月:深度學(xué)習(xí)在點(diǎn)云分割中的應(yīng)用 | 分享總結(jié)

剛才我們也說了,因?yàn)?pointnet 是有 KNN 或者是 ball query 的方法,會(huì)讓它們的速度下降很多,我們?cè)谶@里進(jìn)行速度和 memory 的比較,像我們的 rsnet 是比 pointnet++速度要快很多。這里(上圖)顯示的是,以 pointnet 為一個(gè) unit,先與 pointnet 比較,再與其他方法進(jìn)行速度上的比較。這兩篇工作的代碼都已經(jīng) release 了,大家可以參看我們的 github。

南加州大學(xué) phd 王薇月:深度學(xué)習(xí)在點(diǎn)云分割中的應(yīng)用 | 分享總結(jié)

3D learning 也獲得了大家越來越多的關(guān)注,近期的一些比較有趣的 work 在 3D 的形式上,(上圖)第一個(gè)和第三個(gè)都是在 mesh 上操作的,第一個(gè)是把 mesh 當(dāng)成一個(gè)球,然后通過學(xué)習(xí)的方法把 mesh 捏成它們想要的 single RGB 的樣子,第三個(gè)就是對(duì)不同的 catergory 學(xué)一個(gè) mesh,它的 mesh 也是要 manifold,然后生成一個(gè) mesh 以及它的一個(gè) texture 的信息,然后把 texture map 到 mesh 上,使得它跟它的 image 更相近。第二個(gè)工作是通過 sample 在 surface 上的點(diǎn)來生成 mesh,這個(gè)也是進(jìn)行根據(jù) 2D image 來進(jìn)行 3D reconstruction 的,大家感興趣可以都去再看一下。

南加州大學(xué) phd 王薇月:深度學(xué)習(xí)在點(diǎn)云分割中的應(yīng)用 | 分享總結(jié)

這是我們實(shí)驗(yàn)室的信息,如果大家感興趣的話,可以跟我的導(dǎo)師聯(lián)系,我們主要做 3D vison 和 computer graphics 方面上的研究。

Q&A

Q:為什么 curtain 很差?

A:curtain 主要是數(shù)據(jù)比較少而且很多都連著墻或窗,所以不太容易被識(shí)別。

Q:切割的精度怎么確定?

A:切割精度不同會(huì)對(duì)結(jié)果造成不同影響,我們?cè)趯?shí)驗(yàn)部分的 ablation study 里面對(duì)不同精度進(jìn)行了實(shí)驗(yàn)。

Q:第二個(gè) work x、y、z 都是 align 好的嗎?

A:嗯對(duì) 坐標(biāo)是先 align 好的。

以上就是本期嘉賓的全部分享內(nèi)容。更多公開課視頻請(qǐng)到雷鋒網(wǎng) AI 慕課學(xué)院觀看。關(guān)注微信公眾號(hào):AI 科技評(píng)論,可獲取最新公開課直播時(shí)間預(yù)告。

雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。

南加州大學(xué) phd 王薇月:深度學(xué)習(xí)在點(diǎn)云分割中的應(yīng)用 | 分享總結(jié)

分享:
相關(guān)文章
當(dāng)月熱門文章
最新文章
請(qǐng)?zhí)顚懮暾?qǐng)人資料
姓名
電話
郵箱
微信號(hào)
作品鏈接
個(gè)人簡介
為了您的賬戶安全,請(qǐng)驗(yàn)證郵箱
您的郵箱還未驗(yàn)證,完成可獲20積分喲!
請(qǐng)驗(yàn)證您的郵箱
立即驗(yàn)證
完善賬號(hào)信息
您的賬號(hào)已經(jīng)綁定,現(xiàn)在您可以設(shè)置密碼以方便用郵箱登錄
立即設(shè)置 以后再說