0
| 本文作者： camel | 2020-01-07 11:44 |
雷鋒網(wǎng)注：本文作者劉平平，未經(jīng)允許禁止轉(zhuǎn)載。
現(xiàn)在常用的對(duì)象檢測器存在一些顯而易見而又極易被忽視的問題，正如同對(duì)“屋里的大象”視而不見。分析和優(yōu)化這些問題對(duì)于圖像識(shí)別技術(shù)的進(jìn)步顯得尤為重要。
現(xiàn)今，圖像識(shí)別技術(shù)在自動(dòng)駕駛、醫(yī)學(xué)影像以及大熱的機(jī)器視覺等領(lǐng)域發(fā)揮著不可或缺的作用，而穩(wěn)定的系統(tǒng)對(duì)于圖像識(shí)別的優(yōu)劣起著關(guān)鍵作用。但即使是最先進(jìn)的對(duì)象檢測器也存在一些常見的故障：當(dāng)將一個(gè)圖像中的對(duì)象移植到另一個(gè)圖像中，將導(dǎo)致對(duì)象檢測器識(shí)別產(chǎn)生偏差甚至無法識(shí)別。
究竟是什么原因?qū)е伦R(shí)別故障？是否有方法優(yōu)化解決這個(gè)問題？約克大學(xué)的Amir Rosenfeld、John K. Tsotsos和多倫多大學(xué)Richard Zemel等人發(fā)表的《The Elephant in the Room》詳細(xì)研究并回答了這些問題。
研究人員提取一幅圖片中的“大象”作為目標(biāo)移植到另一幅圖片中，發(fā)現(xiàn)幾個(gè)明顯的問題（如圖1）：
圖 1
1、監(jiān)測不穩(wěn)定：目標(biāo)可能不能被檢測到且被檢測到的概率大大降低；
2、報(bào)告的對(duì)象身份不一致：根據(jù)位置，該目標(biāo)可能被檢測為多種不同的類別；
3、目標(biāo)會(huì)引起非局部影響：與目標(biāo)不重疊的對(duì)象可以切換身份、邊界框或完全消失。
為進(jìn)一步驗(yàn)證上述問題是否存在，研究人員又隨機(jī)選取大量圖片進(jìn)一步實(shí)驗(yàn)。
不出所料：當(dāng)將一個(gè)圖像中的對(duì)象移植到另一個(gè)圖像中，將導(dǎo)致對(duì)象檢測器的識(shí)別產(chǎn)生偏差甚至無法識(shí)別。且在現(xiàn)行最精準(zhǔn)的檢測器faster_rcnn_nas_coco 上運(yùn)用幾種不同的模型均不同程度出現(xiàn)這種問題。
上述實(shí)驗(yàn)均為隨機(jī)選取的圖片，因此所選取的對(duì)象是兩個(gè)從未在一張圖片中出現(xiàn)的特定組合。但是，網(wǎng)絡(luò)成功處理此類圖片及組合很困難。為排除此問題對(duì)實(shí)驗(yàn)造成的干擾，研究人員從一個(gè)圖像中復(fù)制一個(gè)對(duì)象，并將其復(fù)制到同一圖像中的另一個(gè)位置。
圖 2
結(jié)果表明，當(dāng)移動(dòng)目標(biāo)時(shí)，部分遮蔽以及上下文都對(duì)識(shí)別產(chǎn)生一定的影響（圖2）。例如，在 b 欄奶牛的腳在靠近電視時(shí)變成了遙控器。在 d 欄當(dāng)植物的一部分被遮擋而人的手在附近時(shí)，植物的底部被識(shí)別為手提包或杯子。
為何對(duì)象檢測器會(huì)出現(xiàn)這個(gè)問題？研究人員進(jìn)一步進(jìn)行實(shí)驗(yàn)試圖探索此問題。
研究人員選取一張圖片，圖片中的一只僅露出局部身體的貓被錯(cuò)誤地識(shí)別為斑馬。研究人員分別做了以下實(shí)驗(yàn)：
1、丟棄檢測邊界框之外的所有像素：不能固定對(duì)象的分類，貓仍被識(shí)別為斑馬，這表明ROI (region-of-interest)內(nèi)的特征可能會(huì)引起混淆；
2、丟棄ROI內(nèi)的所有非貓像素，貓被識(shí)別為貓，分類固定；
3、在邊界框外的范圍內(nèi)再次添加隨機(jī)噪聲：貓?jiān)俅伪蛔R(shí)別為斑馬，檢測不正確。
這個(gè)實(shí)驗(yàn)表明ROI外的特征會(huì)影響最終的檢測結(jié)果。
研究人員通過匹配探測器在原始圖像和修改后的圖像中生成的一組邊界框來計(jì)算場景的識(shí)別發(fā)生了多少次變化。計(jì)算公式如下：
通過識(shí)別計(jì)算29張不同圖片，他們統(tǒng)計(jì)了已移植對(duì)象導(dǎo)致對(duì)任何原始對(duì)象的檢測被修改的位置的平均位置百分比，結(jié)果如下表。閾值τ是最小重疊，以將兩個(gè)相同類別的邊界框計(jì)算為匹配項(xiàng)。
Affected-class-Agnostic: 邊界框之間的類別不可知匹配的結(jié)果；
Affected-Occluded-20: 結(jié)果僅計(jì)算每個(gè)原始對(duì)象最多20％的區(qū)域被目標(biāo)對(duì)象覆蓋的情況；
Affected-No-Occ: 目標(biāo)對(duì)象不會(huì)遮擋任何物體的結(jié)果。
通過上述實(shí)驗(yàn)，研究人員針對(duì)對(duì)象檢測器存在常見故障發(fā)生的原因有以下幾個(gè)推論：
1、部分遮蓋：部分遮蓋仍是對(duì)象檢測器發(fā)展的一大挑戰(zhàn)。但已有科學(xué)家提出數(shù)據(jù)驅(qū)動(dòng)、局部證據(jù)定義目標(biāo)等方法解決因目標(biāo)遮蓋而設(shè)別偏差的問題。
2、超出分布的示例：研究人員將目標(biāo)移植到另一張圖片中會(huì)使得目標(biāo)邊框產(chǎn)生突變邊緣，邊緣修改后的圖像在訓(xùn)練集的圖像分布下發(fā)生的可能性很小。且這些輕微的擾動(dòng)如邊緣突變也會(huì)造成網(wǎng)絡(luò)輸出發(fā)生巨大變化，從而導(dǎo)致識(shí)別偏差。
3、信號(hào)保存：空間池因其效率和不變形使得它對(duì)空間變形問題很有效，但是目前研究表明空間池分層阻礙了網(wǎng)絡(luò)的位移不變。
4、上下文推理：現(xiàn)有的對(duì)象檢測器不具備上下文推理能力，而網(wǎng)絡(luò)推理會(huì)對(duì)對(duì)象類別及其相對(duì)空間布局之間的相互作用進(jìn)行編碼，這些上下文推理往往會(huì)造成識(shí)別偏差，如圖2。
5、非極大值抑制：由于存在非極大值抑制，移植對(duì)象過程中使得其他對(duì)象遮蓋狀態(tài)發(fā)生變化，使得距被移植對(duì)象較遠(yuǎn)的對(duì)象識(shí)別也出現(xiàn)問題。
6、功能干擾：現(xiàn)行對(duì)象檢測器使用從卷積層獲得的特征，以生成最終的物體類別和矩形邊界框預(yù)測。這使得邊界框以內(nèi)的非對(duì)象部分也成為識(shí)別對(duì)象的一部分，雖然在對(duì)象特征不明顯時(shí)能根據(jù)非對(duì)象部分上下文推測對(duì)象類別，但是同時(shí)也會(huì)干擾對(duì)象正確識(shí)別。
在所有原因中，功能干擾是最為根本的原因，而由部分遮擋或上下文推理引起的影響是這個(gè)問題的具體體現(xiàn)。
即使這個(gè)問題現(xiàn)在很難解決，科學(xué)家Tsotsos仍然提出了解決模型：一旦完成了對(duì)視覺層次的第一遍處理，主導(dǎo)信號(hào)便向下傳播通過層次結(jié)構(gòu)，執(zhí)行空間和特征衰減，以便信號(hào)的下一層將包含有關(guān)感興趣對(duì)象的信息，即較少與周圍特征糾纏在一起。這個(gè)模有望減輕識(shí)別偏差問題，而在將來是否會(huì)確實(shí)會(huì)發(fā)作用，我們拭目以待。
雷鋒網(wǎng)報(bào)道。雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
