0
| 本文作者： AI研習(xí)社-譯站 | 2019-08-06 14:49 |
語(yǔ)義分割是指將圖像中的每個(gè)像素歸于類(lèi)標(biāo)簽的過(guò)程，這些類(lèi)標(biāo)簽可以包括一個(gè)人、汽車(chē)、鮮花、一件家具等。
它的一些主要應(yīng)用是在自動(dòng)駕駛、人機(jī)交互、機(jī)器人和照片編輯/創(chuàng)意工具中。例如，語(yǔ)義分割在汽車(chē)自動(dòng)駕駛和機(jī)器人技術(shù)中是至關(guān)重要的，因?yàn)閷?duì)于一個(gè)模型來(lái)說(shuō)，了解其所處環(huán)境中的語(yǔ)義信息是非常重要的。
圖源：http://www.cs.toronto.edu/~tingwuwang/semantic_segmentation.pdf
Weakly- and Semi-Supervised Learning of a Deep Convolutional Network for Semantic Image Segmentation (用于語(yǔ)義分割的弱監(jiān)督和半監(jiān)督的深度神經(jīng)網(wǎng)絡(luò))
Fully Convolutional Networks for Semantic Segmentation (用于語(yǔ)義分割的全卷積神經(jīng)網(wǎng)絡(luò))
U-Net: Convolutional Networks for Biomedical Image Segmentation (用于生物醫(yī)學(xué)圖像的語(yǔ)義分割卷積神經(jīng)網(wǎng)絡(luò))
The One Hundred Layers Tiramisu: Fully Convolutional DenseNets for Semantic Segmentation （用于語(yǔ)義分割的全卷積DenseNet）
Multi-Scale Context Aggregation by Dilated Convolutions (基于擴(kuò)張卷積的多尺度上下文聚合)
DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs(DeepLab: 使用深度神經(jīng)網(wǎng)絡(luò)，空洞卷積，和全連接CRF做語(yǔ)義分割的網(wǎng)絡(luò))
Rethinking Atrous Convolution for Semantic Image Segmentation（語(yǔ)義分割中的空洞卷積的再思考）
Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation（ 空間金字塔池化模塊和編碼-解碼結(jié)構(gòu)用于語(yǔ)義分割的深度網(wǎng)絡(luò)結(jié)構(gòu).）
FastFCN: Rethinking Dilated Convolution in the Backbone for Semantic Segmentation（Fast FCN:對(duì)語(yǔ)義分割分割后端的空洞卷積的再思考）
Improving Semantic Segmentation via Video Propagation and Label Relaxation（通過(guò)視頻傳播和標(biāo)簽松弛改善語(yǔ)義分割）
Gated-SCNN: Gated Shape CNNs for Semantic Segmentation（門(mén)控-SCNN: 用于語(yǔ)義分割的門(mén)控形狀卷積神經(jīng)網(wǎng)絡(luò)）
這篇文章提出了一種解決方法，用于面對(duì)深度卷積網(wǎng)絡(luò)中處理弱標(biāo)記數(shù)據(jù)的難題、以及處理良好標(biāo)記與未適當(dāng)標(biāo)記數(shù)據(jù)結(jié)合。
本文應(yīng)用了一個(gè)深度CNNs與全連接條件隨機(jī)場(chǎng)的組合。
用于語(yǔ)義分割的DCNN弱和半監(jiān)督學(xué)習(xí)（https://arxiv.org/abs/1502.02734）
在PASCAL VOC分割基準(zhǔn)中，這個(gè)模型給出了超過(guò)70%的平均IoU。這種模型的一個(gè)主要難題是它在訓(xùn)練時(shí)需要在像素層次標(biāo)記的圖像。
這篇文章的主要貢獻(xiàn)在于：
引入弱監(jiān)督和半監(jiān)督設(shè)定都適用的期望最大化算法來(lái)用于邊界框或圖像層次的訓(xùn)練；
證明弱與強(qiáng)標(biāo)記的組合能夠改善性能，在合并MSCOCO數(shù)據(jù)集和PASCAL數(shù)據(jù)集的標(biāo)記后，論文作者在PASCAL VOC2012上獲得73.9%的IoU；
證明通過(guò)合并少量像素級(jí)標(biāo)記圖像和大量邊框或圖像級(jí)標(biāo)注圖像獲得了更好的性能。
用于語(yǔ)義分割的全卷積網(wǎng)絡(luò)（https://arxiv.org/abs/1605.06211）
這篇文章提出的模型在PASCAL VOC 2012上取得了67.2%的平均IU。
全連接網(wǎng)絡(luò)輸入任意大小的圖像，生成一個(gè)對(duì)應(yīng)空間維度的輸出。在這個(gè)模型中，ILSVRC分類(lèi)器被轉(zhuǎn)換成一個(gè)全連接網(wǎng)絡(luò)，并使用逐像素?fù)p失和網(wǎng)絡(luò)內(nèi)上采樣強(qiáng)化來(lái)進(jìn)行密集預(yù)測(cè)，之后對(duì)分割的訓(xùn)練就通過(guò)fine-tuning完成。Fine-tuning是在整個(gè)網(wǎng)絡(luò)上進(jìn)行反向傳播完成的。
在生物醫(yī)學(xué)圖像處理中，獲得圖像中每個(gè)細(xì)胞的類(lèi)別標(biāo)簽至關(guān)重要。而生物醫(yī)學(xué)任務(wù)中最大的挑戰(zhàn)就在于難以獲得數(shù)以千計(jì)的圖像來(lái)用于訓(xùn)練。
U-Net：用于醫(yī)學(xué)圖像分割的卷積網(wǎng)絡(luò)（https://arxiv.org/abs/1505.04597）
這篇文章構(gòu)建在全卷積層之上，并將其修改使其在一些訓(xùn)練圖像上有效并產(chǎn)出更精確的分割。
因?yàn)橹荒塬@得很少的訓(xùn)練數(shù)據(jù)，這個(gè)模型在已有數(shù)據(jù)上應(yīng)用彈性變形來(lái)對(duì)數(shù)據(jù)增強(qiáng)。就如上面圖1中所示，網(wǎng)絡(luò)架構(gòu)由左側(cè)的收縮路徑和右側(cè)的膨脹路徑組成。
收縮路徑由兩個(gè) 3x3 卷積組成，每個(gè)卷積后面都跟一個(gè)修正線性單元和一個(gè)用于下采樣的 2x2 最大池化。每個(gè)下采樣階段都多使特征通道數(shù)加倍。膨脹路徑步驟中包含一個(gè)特征通道的上采樣。這后面跟著將特征通道數(shù)減半的 2x2 上卷積。最后一層是一個(gè)將成分特征向量映射到要求類(lèi)別數(shù)的 1x1 卷積。
在這個(gè)模型中，訓(xùn)練使用輸入圖像——它們的分割圖，和一個(gè)Caffe實(shí)現(xiàn)的隨機(jī)梯度下降完成。數(shù)據(jù)增強(qiáng)用于在使用很少的訓(xùn)練數(shù)據(jù)時(shí)教會(huì)網(wǎng)絡(luò)達(dá)到所要求的魯棒性和不變性。模型在一個(gè)實(shí)驗(yàn)中達(dá)到了0.92的平均IoU。
04. 100層Tiramisu：用于語(yǔ)義分割的全卷積DenseNets（2017）
DenseNets背后的思想是使每一層以前向傳播的方式連接到所有層會(huì)使網(wǎng)絡(luò)更易于訓(xùn)練并更精確。
100層Tiramisu：用于語(yǔ)義分割的全卷積DenseNets（https://arxiv.org/abs/1611.09326）
模型結(jié)構(gòu)構(gòu)建在dense塊的下采樣和上采樣路徑中，下采樣路徑有2個(gè)Transitions Down（TD）而上采樣路徑有兩個(gè)Transitions Up（TU）。圓圈和箭頭表示網(wǎng)絡(luò)內(nèi)的連接模式。
這篇文章的主要貢獻(xiàn)在于：
擴(kuò)展DenseNet結(jié)構(gòu)到全卷積網(wǎng)絡(luò)來(lái)用于語(yǔ)義分割；
提出dense網(wǎng)絡(luò)中的上采樣路徑比其他上采樣路徑性能更好；
證明這個(gè)網(wǎng)絡(luò)能夠在標(biāo)準(zhǔn)基準(zhǔn)上產(chǎn)生最優(yōu)結(jié)果。
這個(gè)模型在CamVid數(shù)據(jù)集上達(dá)到了88%的全局準(zhǔn)確率。
05. 擴(kuò)張卷積的多尺度背景聚合（ICLR,2016）
在這篇論文中，開(kāi)發(fā)了一種卷積網(wǎng)絡(luò)模塊，它可以在不損失分辨率的情況下融合多尺度的上下文信息。然后該模塊可以以任何分辨率插入現(xiàn)有架構(gòu)。該模塊基于擴(kuò)張卷積。
該模塊在Pascal VOC 2012數(shù)據(jù)集上進(jìn)行了測(cè)試。它證明向現(xiàn)有語(yǔ)義分段體系結(jié)構(gòu)添加上下文模塊可提高其準(zhǔn)確性。
經(jīng)過(guò)實(shí)驗(yàn)訓(xùn)練的前端模塊在VOC-2012驗(yàn)證集上實(shí)現(xiàn)了69.5%的平均IoU，在測(cè)試機(jī)上實(shí)現(xiàn)了71.3%的平均IoU。該模型對(duì)不同物體的訓(xùn)練精度如下所示。
06. DeepLab: 基于深度卷積網(wǎng)絡(luò)，空洞卷積和全連接CRFs的圖像語(yǔ)義分割(TPAMI, 2017)
通過(guò)使用DCNNs改進(jìn)目標(biāo)邊界的定位。
DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully… （https://arxiv.org/abs/1606.00915）
這篇文章提出的DeepLab系統(tǒng)在PASCAL VOC-2012語(yǔ)義圖像分割任務(wù)上實(shí)現(xiàn)了79.7%的mIOU。
本文針對(duì)深度CNNs在語(yǔ)義分割應(yīng)用中面臨的主要挑戰(zhàn)，包括：
由Max-Pooling和下采樣的組合導(dǎo)致的特征分辨率的降低。
目標(biāo)的多尺度問(wèn)題。
DCNN空間變換的不變性導(dǎo)致定位精度降低，而以對(duì)象為導(dǎo)向的分類(lèi)器又需要具有空間變換不變性。
空洞卷積可以通過(guò)對(duì)濾波器插入零點(diǎn)進(jìn)行上采樣來(lái)實(shí)現(xiàn)，也可以對(duì)輸入特征map進(jìn)行稀疏采樣來(lái)實(shí)現(xiàn)。第二種方法需要對(duì)輸入特征圖通過(guò)一個(gè)等于空洞卷積率r的因子進(jìn)行下采樣，并將其去除間隔行生成r^2的縮減分辨率map，每種可能的轉(zhuǎn)換為r×r分辨率的縮減變換均對(duì)應(yīng)一個(gè)分辨率map。然后，對(duì)得到的特征map應(yīng)用標(biāo)準(zhǔn)卷積操作，將提取到的特征與圖像的原始分辨率進(jìn)行融合。
本文討論了使用DCNNs進(jìn)行語(yǔ)義分割的兩個(gè)挑戰(zhàn)（前面提及）；應(yīng)用連續(xù)池化操作出現(xiàn)的特征分辨率降低和對(duì)象在多尺度出現(xiàn)。
重新思考用于語(yǔ)義圖像分割的Atrous卷積（https://arxiv.org/abs/1706.05587）
為了解決第一個(gè)問(wèn)題，文章建議使用Atrous卷積，也成為擴(kuò)張卷積。它提出通過(guò)使用Atrous卷積來(lái)擴(kuò)大視野，因此包含了多尺度上下文，來(lái)解決第二個(gè)問(wèn)題。
在沒(méi)有DenseCRF后處理的情況下，本文的'DeepLabv3'在PASCAL VOC 2012測(cè)試集上達(dá)到了85.7%的準(zhǔn)確率。
08. 基于空洞可分離卷積編解碼器的圖像語(yǔ)義分割(ECCV, 2018)
本文的方法“DeepLabv3+”，在無(wú)需對(duì)PASCAL VOC 2012和Cityscapes數(shù)據(jù)集進(jìn)行任何后期處理的情況下，測(cè)試集性能分別達(dá)到89.0%和82.1%。該模型是DeepLabv3的擴(kuò)展，通過(guò)添加一個(gè)簡(jiǎn)單的解碼器模塊來(lái)細(xì)化分割結(jié)果。
基于空洞可分離卷積編解碼器的圖像語(yǔ)義分割（https://paperswithcode.com/paper/encoder-decoder-with-atrous-separable）
圖源：https://arxiv.org/pdf/1802.02611v3.pdf
本文實(shí)現(xiàn)了兩種使用空間金字塔池化模塊進(jìn)行語(yǔ)義分割的神經(jīng)網(wǎng)絡(luò)。一種方法通過(guò)融合在不同分辨率下的特征來(lái)捕獲上下文信息，而另一種方法則著眼于獲得清晰的目標(biāo)邊界。
圖源：https://arxiv.org/pdf/1802.02611v3.pdf
文章提出了一個(gè)聯(lián)合上采樣模塊，命名為聯(lián)合金字塔上采樣（JPU），以取代消耗大量時(shí)間和內(nèi)存的擴(kuò)張卷積。它的工作原理是將獲取高分辨率圖像的任務(wù)轉(zhuǎn)化為聯(lián)合上采樣問(wèn)題。
該方法在Pascal Context數(shù)據(jù)集上實(shí)現(xiàn)53.13%的mIoU性能，運(yùn)行速度提高了三倍。
圖源：https://arxiv.org/pdf/1903.11816v1.pdf
該方法實(shí)現(xiàn)了全連接網(wǎng)絡(luò)（FCN）作為主干，同時(shí)應(yīng)用JPU對(duì)低分辨率特征映射進(jìn)行上采樣，從而生成高分辨率的特征映射。用JPU代替擴(kuò)張的卷積不會(huì)導(dǎo)致任何性能損失。
圖源：https://arxiv.org/pdf/1903.11816v1.pdf
通過(guò)視頻傳播法和標(biāo)記松弛法優(yōu)化語(yǔ)義分割（https://paperswithcode.com/paper/improving-semantic-segmentation-via-video）
來(lái)源：https://arxiv.org/pdf/1812.01593v3.pdf
利用合成數(shù)據(jù)集對(duì)分割網(wǎng)絡(luò)進(jìn)行訓(xùn)練，提高了預(yù)測(cè)精度。本文所提出的方法在Cityscapes數(shù)據(jù)集上可以達(dá)到83.5%的mIoUs，在CamVid數(shù)據(jù)集上可以達(dá)到82.9%的mIoUs。
圖源：https://arxiv.org/pdf/1812.01593v3.pdf
標(biāo)簽傳播法(LP)通過(guò)將傳播的標(biāo)簽與真實(shí)的未來(lái)幀進(jìn)行配對(duì)，以創(chuàng)建新的訓(xùn)練樣本。
圖像-標(biāo)簽混合傳播法(JP)通過(guò)將傳播標(biāo)簽與相應(yīng)的傳播圖像進(jìn)行配對(duì)，以創(chuàng)建新的訓(xùn)練樣本。
本文主要有三個(gè)命題;利用視頻預(yù)測(cè)模型將標(biāo)簽傳播到相鄰幀，引入圖像-標(biāo)簽混合傳播法來(lái)處理圖像的不對(duì)齊問(wèn)題，并通過(guò)最大化聯(lián)合類(lèi)概率似然函數(shù)來(lái)松弛one-hot標(biāo)簽的訓(xùn)練。
圖源：https://arxiv.org/pdf/1812.01593v3.pdf
這篇文章是語(yǔ)義分割模塊的最新進(jìn)展。作者提出了一種雙流CNN架構(gòu)。在此體系結(jié)構(gòu)中，形狀信息作為單獨(dú)的分支處理。該形狀流僅處理邊界相關(guān)信息。這由模型的門(mén)控卷積層（GCL）和本地監(jiān)督強(qiáng)制執(zhí)行。
門(mén)控SCNN：用于語(yǔ)義分段的門(mén)控形狀CNNs（2019，https://arxiv.org/abs/1907.05740）
該模型在mloU上的表現(xiàn)優(yōu)于DeepLab-v3+ 1.5%，在F界面得分上優(yōu)于4%。該模型已使用Citycapes基準(zhǔn)進(jìn)行評(píng)估。在較小和較薄物體上，該模型在IoU上實(shí)現(xiàn)7%的改進(jìn)。
下表顯示了Gated-SCNN和其他模型的性能比較
我們現(xiàn)在應(yīng)該跟上一些最常見(jiàn)的，以及集中最近在各種環(huán)境中執(zhí)行語(yǔ)義分割的技術(shù)。
上面的文章/摘要包含其代碼實(shí)現(xiàn)的鏈接。我們很高興看到您在測(cè)試后獲得的結(jié)果。
Via:https://heartbeat.fritz.ai/a-2019-guide-to-semantic-segmentation-ca8242f5a7fc
想要繼續(xù)查看該篇文章相關(guān)鏈接和參考文獻(xiàn)？
點(diǎn)擊【2019 語(yǔ)義分割指南】即可訪問(wèn)~
福利大放送——滿滿的干貨課程免費(fèi)送！
「好玩的Python：從數(shù)據(jù)挖掘到深度學(xué)習(xí)」該課程涵蓋了從Python入門(mén)到CV、NLP實(shí)踐等內(nèi)容，是非常不錯(cuò)的深度學(xué)習(xí)入門(mén)課程，共計(jì)9節(jié)32課時(shí)，總長(zhǎng)度約為13個(gè)小時(shí)。。
課程頁(yè)面：https://ai.yanxishe.com/page/domesticCourse/37
「計(jì)算機(jī)視覺(jué)基礎(chǔ)入門(mén)課程」本課程主要介紹深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)方向的算法與應(yīng)用，涵蓋了計(jì)算機(jī)視覺(jué)的歷史與整個(gè)課程規(guī)劃、CNN的模型原理與訓(xùn)練技巧、計(jì)算機(jī)視覺(jué)的應(yīng)用案例等，適合對(duì)計(jì)算機(jī)視覺(jué)感興趣的新人。
課程頁(yè)面：https://ai.yanxishe.com/page/domesticCourse/46
現(xiàn)AI研習(xí)社將兩門(mén)課程免費(fèi)開(kāi)放給社區(qū)認(rèn)證用戶，只要您在認(rèn)證時(shí)在備注框里填寫(xiě)「Python」，待認(rèn)證通過(guò)后，即可獲得該課程全部解鎖權(quán)限。心動(dòng)不如行動(dòng)噢~
認(rèn)證方式：https://ai.yanxishe.com/page/blogDetail/13999
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
