雷鋒網(wǎng)AI研習(xí)社按：位姿測量是許多空間任務(wù)的基礎(chǔ)，也是移動機(jī)器人移動的前提，其重要性不必多言。傳統(tǒng)的位姿測量方法已經(jīng)發(fā)展了幾十年，取得累累碩果的同時(shí)也遇到了不少技術(shù)瓶頸。深度學(xué)習(xí)的興起，重新給了位姿測量新思路，本文為大家介紹的就是基于深度學(xué)習(xí)的位姿測量。

在近期雷鋒網(wǎng)AI研習(xí)社舉辦的線上公開課上，來自北京航空航天大學(xué)的張歡同學(xué)分享了一篇CVPR 2015文章中用到的利用深度學(xué)習(xí)進(jìn)行位姿測量的方法。沒有觀看直播的同學(xué)可以點(diǎn)擊視頻回放。

張歡，北京航空航天大學(xué)模式識別與智能系統(tǒng)碩士在讀，主要研究方向?yàn)橛?jì)算機(jī)視覺，利用深度學(xué)習(xí)進(jìn)行非合作目標(biāo)位姿測量方面，曾帶隊(duì)參加MBZIRC第一屆世界無人機(jī)大賽。

分享主題：基于深度學(xué)習(xí)的位姿測量

分享提綱：

• 位姿測量的意義

• 傳統(tǒng)位姿測量方法的分類和挑戰(zhàn)

• 基于學(xué)習(xí)的位姿測量方法

• 基于深度學(xué)習(xí)的位姿測量方法——描述子網(wǎng)絡(luò)

物體的位姿測量指的是在特定的坐標(biāo)系下獲取目標(biāo)的三個(gè)位置參數(shù)和三個(gè)姿態(tài)參數(shù)，特定的坐標(biāo)系可以是世界坐標(biāo)系，物體坐標(biāo)系，相機(jī)坐標(biāo)系。具體應(yīng)用領(lǐng)域舉例，有衛(wèi)星輔助入軌，維修故障衛(wèi)星 ，衛(wèi)星加注燃料等。

物體的位姿測量的應(yīng)用

物體的位姿測量在機(jī)器人、自動化及機(jī)器視覺等領(lǐng)域也有著非常重要的應(yīng)用，尤其是在機(jī)器人領(lǐng)域，準(zhǔn)確快速的得到物體的六維位姿對于機(jī)器人操作物體是非常重要的。在工業(yè)生產(chǎn)中更是如此，準(zhǔn)確測量配件的位姿，才能使得工業(yè)機(jī)器人以規(guī)定的姿勢抓取物體并對準(zhǔn)安裝，對于提高工業(yè)生產(chǎn)效率有著非常重要的意義。

傳統(tǒng)位姿測量方法的分類和挑戰(zhàn)

傳統(tǒng)的位姿測量方法主要包括基于單目的方法，基于雙目的方法，基于多目的方法，基于掃描式激光雷達(dá)的方法，基于非掃描式激光雷達(dá)的方法，近年來發(fā)展迅速的基于SLAM的方法，以及多傳感器融合的方法。

傳統(tǒng)位姿測量方法分類

傳統(tǒng)位姿測量方法的挑戰(zhàn)

傳統(tǒng)位姿測量方法的挑戰(zhàn)主要包括以下幾個(gè)方面：

首先，傳統(tǒng)的位姿測量方法大多是基于幾何特征的方法，而基本的幾何方法對于目標(biāo)表面的紋理具有一定的依賴性，如第一幅圖所示。

其次，在真實(shí)環(huán)境中，由于受到光照等因素影響，相機(jī)成像質(zhì)量會發(fā)生退化，基于幾何特征的方法容易受到極大影響，如第二幅圖所示，空間環(huán)境中的成像質(zhì)量就是非常差的。

第三，復(fù)雜的背景也會對基于幾何特征的方法產(chǎn)生很大的干擾，第三幅圖中的場景是LineMOD數(shù)據(jù)集，場景比較復(fù)雜。

最后，發(fā)生局部遮擋等情況下，物體發(fā)生了形變，基于幾何特征的方法不一定能勝任位姿測量等任務(wù)。

而近年來迅速發(fā)展的基于學(xué)習(xí)的算法具有很強(qiáng)的魯棒性，受環(huán)境影響也相對較小，給我們提供了一種新的思路。

基于學(xué)習(xí)的位姿測量方法

主要包括基于稀疏特征的方法，基于稠密特征的方法，基于模板匹配的方法。

基于稀疏特征的方法從圖像中提取興趣點(diǎn)，用局部描述子來描述這些興趣點(diǎn)，并匹配到數(shù)據(jù)庫。

Lepetit等把匹配問題轉(zhuǎn)化成分類問題，把物體每個(gè)關(guān)鍵點(diǎn)的所有可能的外觀集歸成一類。每個(gè)關(guān)鍵點(diǎn)至少一張樣本圖，然后根據(jù)樣本圖生成樣本集訓(xùn)練分類器，使用隨機(jī)森林作為分類器，對每個(gè)關(guān)鍵點(diǎn)進(jìn)行分類。

Collet等提出了在混亂的場景中物體識別和位姿測量系統(tǒng)POSESEQ，該系統(tǒng)學(xué)習(xí)物體特征并制作數(shù)據(jù)庫，運(yùn)行時(shí)檢測物體并從數(shù)據(jù)庫中搜索，獲取物體6D位姿。針對系統(tǒng)延遲較大的問題，Manuel等人增加了系統(tǒng)的可拓展性。

基于稀疏特征的方法和傳統(tǒng)的基于幾何的方法有一定的相似性，都是對于紋理較少的物體識別較為困難，對于此類物體的識別，后面介紹的基于模板的方法較好。

基于稠密特征的方法中，用每個(gè)像素對想要的結(jié)果進(jìn)行預(yù)測，以下是近幾年研究方法的發(fā)展和改進(jìn)。

在實(shí)際應(yīng)用中，隨機(jī)森林的復(fù)雜度會隨著物體種類的增加而增加；物體種類少的話，訓(xùn)練出的效果又不是很好。這是用三個(gè)物體進(jìn)行訓(xùn)練的訓(xùn)練結(jié)果；第一張圖是把物體分割出來；第二張圖是分割出的物體的能量函數(shù)圖；第三張圖是跑出來的位姿結(jié)果；每張圖片里左邊都是groundtruth，右邊是測試結(jié)果，估計(jì)出來的位姿和groundtruth還是有一定差距的。

基于稀疏特征的方法和基于稠密圖像塊的方法，也就是隨機(jī)森林的方法，都是屬于學(xué)習(xí)的方法，但還不是屬于深度學(xué)習(xí)的方法，接下來我們介紹的基于模板匹配的方法是真正屬于深度學(xué)習(xí)的方法。

基于模板的方法

基于模板的方法是用固定的模板掃描圖片，尋找最佳的匹配。

Hinterstoisser 等研究者對物體在半球節(jié)點(diǎn)位置生成大量邊緣模板，并把基于邊緣的模板和相應(yīng)的位姿一起進(jìn)行訓(xùn)練，驗(yàn)證時(shí)根據(jù)模板進(jìn)行位姿識別。

在此基礎(chǔ)上，Wohlhart等將物體種類和物體視圖模板一起進(jìn)行訓(xùn)練，學(xué)習(xí)代表物體種類和位姿的描述子。

接下來分享的的文章就是學(xué)習(xí)目標(biāo)識別和位姿估計(jì)的描述子。這是CVPR 2015上收錄的一篇文章。

這篇文章的創(chuàng)新點(diǎn)在識別物體種類的同時(shí)進(jìn)行位姿估計(jì)。他是通過卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)描述子實(shí)現(xiàn)的。這里的描述子不是局部描述子，而是整張圖片的描述子。

給定一個(gè)物體的輸入圖像X，想得到他的分類和位姿估計(jì)，具體的實(shí)現(xiàn)步驟如下圖。

訓(xùn)練數(shù)據(jù)都是合成數(shù)據(jù)，訓(xùn)練數(shù)據(jù)包括彩色圖像和深度圖像，可以用兩種數(shù)據(jù)一起進(jìn)行訓(xùn)練，也可以單獨(dú)指定某一種進(jìn)行訓(xùn)練。測試數(shù)據(jù)是真實(shí)圖像，也包括彩色圖像和深度圖像。

網(wǎng)絡(luò)主體是一個(gè)卷積神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)的結(jié)構(gòu)比較簡單，兩個(gè)卷基層，一個(gè)池化層，兩個(gè)全連接層。具體的訓(xùn)練參數(shù)如圖所示：

為了實(shí)現(xiàn)同時(shí)進(jìn)行識別和位姿測量，想要獲得的描述子需要有兩個(gè)重要特性。不同物體的描述子間的距離較大。相同物體的描述子間的距離較小。

訓(xùn)練樣本中，直接小批量訓(xùn)練樣本會反復(fù)訓(xùn)練，浪費(fèi)計(jì)算資源，因此，網(wǎng)絡(luò)是按照下圖的方法進(jìn)行訓(xùn)練的。

首先從每個(gè)物體里隨機(jī)選取一個(gè)訓(xùn)練樣本；然后添加訓(xùn)練樣本最接近的位姿模板，pairs就是這些最接近的位姿模板和原來隨機(jī)選取的訓(xùn)練樣本產(chǎn)生的；迭代完成，直到小批量總數(shù)取滿為止。取完之后，在每個(gè)訓(xùn)練樣本中添加另外的triplets量，來自不同物體最相似的模板或者相同物體位姿差異較大的模板。訓(xùn)練樣本取好之后，就可以進(jìn)行訓(xùn)練了。

以上是網(wǎng)絡(luò)主體部分介紹，接下來是實(shí)驗(yàn)部分。

數(shù)據(jù)集采用的是Line Mod數(shù)據(jù)集進(jìn)行測試，這個(gè)數(shù)據(jù)集有15個(gè)物體的視圖模板，包括合成數(shù)據(jù)和真實(shí)數(shù)據(jù)。這個(gè)數(shù)據(jù)集還有物體的精確位姿，需要注意的是數(shù)據(jù)集里包含常規(guī)的物體，也包括水杯，碗這樣非常規(guī)物體。這樣的物體形態(tài)具有對稱性，測量它的位姿是具有一定挑戰(zhàn)的。

具體實(shí)驗(yàn)部分，可以觀看AI慕課學(xué)院公開課視頻回放。

總結(jié)

最后，總結(jié)一下這篇論文提到的基于模板方法的幾個(gè)缺點(diǎn)，也是基于模板匹配方法的通?。?/p>

首先是需要整個(gè)模板匹配到一個(gè)特定物體，相比之下，基于稀疏特征的方法魯棒性更強(qiáng)，遮擋情況下不容易匹配到。然后是對于可變性的物體挑戰(zhàn)很大，需要大量模板，最后是該方法也容易受到光照等因素影響。

雷鋒網(wǎng)更多公開課直播課程敬請關(guān)注「AI 研習(xí)社」。如果錯過了直播課程，還可到AI慕課學(xué)院查找該期的視頻回放。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。