0
雷鋒網(wǎng) AI 科技評(píng)論按：在計(jì)算機(jī)視覺(jué)領(lǐng)域，圖像分類(lèi)其實(shí)是一個(gè)最基本的問(wèn)題，然后一旦遇到極端長(zhǎng)尾、開(kāi)放式的數(shù)據(jù)集時(shí)，即便是最基本的圖像識(shí)別任務(wù)，也難以很好地實(shí)現(xiàn)。伯克利 AI 研究院基于對(duì)某段相關(guān)的經(jīng)歷的思考提出了「開(kāi)放長(zhǎng)尾識(shí)別」（OLTR）方法，據(jù)介紹，該方法可同時(shí)處理龐大、稀有、開(kāi)放類(lèi)別的視覺(jué)識(shí)別，是目前視覺(jué)識(shí)別系統(tǒng)評(píng)價(jià)中更全面、更真實(shí)的一種檢驗(yàn)標(biāo)準(zhǔn)，它可以被進(jìn)一步擴(kuò)展到檢測(cè)、分割和強(qiáng)化學(xué)習(xí)上。這一成果也在伯克利 AI 研究院上進(jìn)行了發(fā)表，雷鋒網(wǎng) AI 科技評(píng)論編譯如下。
有一天，一位生態(tài)學(xué)家來(lái)找我們。因?yàn)樗脭z像機(jī)拍攝了很多野生動(dòng)物的照片，希望運(yùn)用現(xiàn)代計(jì)算機(jī)視覺(jué)技術(shù)，基于這些照片的數(shù)據(jù)庫(kù)自動(dòng)辨識(shí)拍到了哪些動(dòng)物。這聽(tīng)起來(lái)是一個(gè)基本的圖像分類(lèi)問(wèn)題，所以我們當(dāng)時(shí)很自信，覺(jué)得肯定沒(méi)問(wèn)題。然而結(jié)果我們卻失敗了。那位生態(tài)學(xué)家提供的數(shù)據(jù)庫(kù)是極端長(zhǎng)尾且開(kāi)放式的。通常，只要無(wú)法得到足夠的訓(xùn)練數(shù)據(jù)，我們就會(huì)問(wèn)對(duì)方，有沒(méi)有可能提供更多的尾部類(lèi)別數(shù)據(jù)，而忽略可能在測(cè)試數(shù)據(jù)中出現(xiàn)的一些開(kāi)集類(lèi)別。遺憾的是，要解決那位生態(tài)學(xué)家的問(wèn)題，我們無(wú)法采用收集更多數(shù)據(jù)的做法。由于這些生態(tài)學(xué)家可能要花相當(dāng)長(zhǎng)的時(shí)間，才會(huì)在野外拍到他們計(jì)劃拍攝的珍稀動(dòng)物。為了拍到一些瀕危動(dòng)物，他們甚至必須等幾年才能拍到一張照片。如此同時(shí)，新的動(dòng)物物種不斷出現(xiàn)，舊的物種同時(shí)正在消失。在這樣一個(gè)動(dòng)態(tài)變化的系統(tǒng)之內(nèi)，類(lèi)別的總數(shù)永遠(yuǎn)無(wú)法固定。而且，從動(dòng)物保護(hù)的意義上說(shuō)，識(shí)別新發(fā)現(xiàn)的稀有動(dòng)物比識(shí)別數(shù)量還很多的動(dòng)物更有價(jià)值。如果我們只能在數(shù)量眾多的類(lèi)別中很好地識(shí)別動(dòng)物，那我們的方法永遠(yuǎn)都不會(huì)有什么實(shí)用價(jià)值。我們嘗試了所有可能采用的方法，能想到的都試過(guò)了，比如數(shù)據(jù)增強(qiáng)、采樣技術(shù)、小樣本學(xué)習(xí)、不平衡分類(lèi)，但沒(méi)有一種現(xiàn)有的方法可能同時(shí)處理龐大的類(lèi)別、稀有的類(lèi)別和開(kāi)放的類(lèi)別（如圖 1）。
自此以后，我們就一直在思考，現(xiàn)有的計(jì)算機(jī)視覺(jué)方法和現(xiàn)實(shí)世界的場(chǎng)景存在這么大的差距，最主要的原因是什么？不止是野生動(dòng)物攝影數(shù)據(jù)存在這樣的問(wèn)題，在現(xiàn)實(shí)生活中，這種問(wèn)題一再出現(xiàn)，工業(yè)和學(xué)界都有。假如卷積神經(jīng)網(wǎng)絡(luò)可以在龐大的 ImageNet 圖像數(shù)據(jù)集中非常順利地將圖片分門(mén)別類(lèi)，那為什么在開(kāi)放的世界中卻仍然無(wú)法解決圖片分類(lèi)的問(wèn)題？在視覺(jué)識(shí)別領(lǐng)域，幾乎所有的問(wèn)題都有成功的解決之道，如小樣本學(xué)習(xí)和開(kāi)集識(shí)別。可似乎沒(méi)有人把這些問(wèn)題當(dāng)作一個(gè)整體來(lái)看待。在現(xiàn)實(shí)世界的應(yīng)用中，不論是頭部類(lèi)別還是尾部類(lèi)別，分類(lèi)有時(shí)不止面臨單獨(dú)一種問(wèn)題。因此，我們認(rèn)為，這種理論和實(shí)踐的差距可能源于視覺(jué)識(shí)別設(shè)置自身。
在現(xiàn)有的視覺(jué)識(shí)別環(huán)境中，訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)在封閉世界（比如 ImageNet 數(shù)據(jù)集）的設(shè)置下都是均衡的。但這種設(shè)置并沒(méi)有很好地模擬現(xiàn)實(shí)世界的場(chǎng)景。例如，生態(tài)學(xué)家永遠(yuǎn)都無(wú)法收集到均衡的野生動(dòng)物數(shù)據(jù)集，因?yàn)閯?dòng)物的分布是不均衡的。同樣地，從道路標(biāo)示、時(shí)裝品牌、面孔、天氣環(huán)境，到街道環(huán)境等等，各種類(lèi)型數(shù)據(jù)集的不均衡開(kāi)放分布都會(huì)干擾人。為了如實(shí)地反映這些方面，我們開(kāi)始正式研究源自自然數(shù)據(jù)集的「開(kāi)放長(zhǎng)尾識(shí)別」（OLTR）。一個(gè)實(shí)用的系統(tǒng)應(yīng)該能夠在少數(shù)共性的類(lèi)別和多個(gè)稀有類(lèi)別之中分類(lèi)，從極少數(shù)已知的例子之中總結(jié)歸納單獨(dú)一個(gè)類(lèi)別的概念，基于某個(gè)過(guò)去從未見(jiàn)過(guò)的類(lèi)別存在的一個(gè)例子，去了解這個(gè)類(lèi)別的獨(dú)特性。我們將 OLTR 定義為，從長(zhǎng)尾和開(kāi)放的分布式數(shù)據(jù)中學(xué)習(xí)，并且基于一個(gè)平衡測(cè)試數(shù)據(jù)集評(píng)估分類(lèi)的準(zhǔn)確性，而這個(gè)測(cè)試數(shù)據(jù)集要包括在一個(gè)連續(xù)譜內(nèi)的頭部、尾部和開(kāi)集類(lèi)別（如圖 2）。
OLTR 并沒(méi)有局限于字面上的定義，目前有三個(gè)問(wèn)題和它密切相關(guān)，分別是不平衡分類(lèi)、小樣本學(xué)習(xí)和開(kāi)集識(shí)別，通常人們都是孤立地看待它們，分別獨(dú)立研究。圖 3 概括了它們之間的差異。在評(píng)估視覺(jué)識(shí)別系統(tǒng)方面，新提出的 OLTR 可以成為更廣泛、更現(xiàn)實(shí)的檢驗(yàn)標(biāo)準(zhǔn)。
我們提出將圖像映射到一個(gè)特征空間，這樣，視覺(jué)概念之間可以基于學(xué)習(xí)到的度量相互關(guān)聯(lián)，并且這種度量既認(rèn)可了封閉世界分類(lèi)又承認(rèn)了開(kāi)放世界的新穎性。我們所提出的動(dòng)態(tài)元嵌入層結(jié)合了直接圖像特征和關(guān)聯(lián)的記憶特征，同時(shí)，特征范數(shù)表示了對(duì)已知類(lèi)別的熟悉程度，如圖所示 4。
首先，我們通過(guò)聚集源自頭部類(lèi)別和尾部類(lèi)別的知識(shí)獲得了視覺(jué)記憶；然后將存儲(chǔ)在內(nèi)存中的視覺(jué)概念當(dāng)作關(guān)聯(lián)的記憶特征重新注入，以增強(qiáng)原來(lái)的直接特征。我們可以將其理解為利用誘導(dǎo)知識(shí)（即記憶特征）來(lái)幫助實(shí)現(xiàn)直接觀察（即直接特征）。我們進(jìn)一步學(xué)習(xí)了一個(gè)概念選擇器來(lái)控制所要注入的記憶特征的數(shù)量和類(lèi)型。由于頭部類(lèi)別知識(shí)已經(jīng)獲得了豐富的直接觀察，所以它們只被注入了少量的記憶特征。相反，尾部類(lèi)別獲得的觀察很少，于是記憶特征里的關(guān)聯(lián)視覺(jué)概念就非常有用。最后，我們通過(guò)計(jì)算出獲得視覺(jué)記憶的可達(dá)性，來(lái)調(diào)整開(kāi)放類(lèi)別的可信度。
如圖 5 所示，本文方法對(duì)所有的多/中/小樣本類(lèi)別以及開(kāi)放類(lèi)別進(jìn)行了綜合處理，在各方面都取得了實(shí)質(zhì)性的提升。
這里，我們通過(guò)將頭部的激活神經(jīng)元可視化，檢查了記憶特征注入的視覺(jué)概念，如如圖 6 所示。具體來(lái)說(shuō)，對(duì)于每個(gè)輸入圖像，我們識(shí)別出了它在記憶特征中排名前 3 的遷移神經(jīng)元。所有神經(jīng)元都通過(guò)整個(gè)訓(xùn)練集上最高的一組激活補(bǔ)丁實(shí)現(xiàn)可視化。例如，為了將左上角的圖像劃分為尾部類(lèi)別「公雞」，我們的方法已經(jīng)學(xué)會(huì)了依次遷移表示「鳥(niǎo)頭」、「圓形」和「點(diǎn)狀紋理」的視覺(jué)概念。在注入特征后，動(dòng)態(tài)元嵌入層的信息豐富度和識(shí)別度變得更高。
現(xiàn)在讓我們回到真正的叢林，將我們?cè)诒疚闹刑岢龅姆椒☉?yīng)用到生態(tài)學(xué)家在第一部分提到的野生動(dòng)物數(shù)據(jù)中。幸運(yùn)的是，我們的新框架在不犧牲豐富類(lèi)別的情況下，在稀缺類(lèi)別上獲得了實(shí)質(zhì)性的進(jìn)步。具體而言，在圖像數(shù)量少于 40 的類(lèi)別上，我們讓結(jié)果提升了大約 40%（從 25% 到 66%）。并且，在開(kāi)放類(lèi)別檢測(cè)上，我們讓結(jié)果提高了 15% 以上。
我們相信，在開(kāi)放長(zhǎng)尾識(shí)別環(huán)境下開(kāi)發(fā)的計(jì)算方法最終可以滿足自然分布數(shù)據(jù)集的需要。綜上所述，開(kāi)放式長(zhǎng)尾識(shí)別（OLTR）是視覺(jué)識(shí)別系統(tǒng)評(píng)價(jià)中更全面、更真實(shí)的一種檢驗(yàn)標(biāo)準(zhǔn)，它可以被進(jìn)一步擴(kuò)展到檢測(cè)、分割和強(qiáng)化學(xué)習(xí)上。
致謝：感謝論文《開(kāi)放世界中的大規(guī)模長(zhǎng)尾識(shí)別》的所有共同作者在撰寫(xiě)這篇博文中所做的貢獻(xiàn)和討論。本文中所表達(dá)的觀點(diǎn)均屬于本文作者。
此博文基于將在 IEEE 計(jì)算機(jī)視覺(jué)和模式識(shí)別會(huì)議（CVPR 2019）作口頭陳述的論文，如下：
《開(kāi)放世界中的大規(guī)模長(zhǎng)尾識(shí)別》（Large-Scale Long-Tailed Recognition in an Open World）
作者：Ziwei Liu*, Zhongqi Miao*, Xiaohang Zhan, Jiayun Wang, Boqing Gong, Stella X. Yu
Project Page：https://liuziwei7.github.io/projects/LongTail.html
Dataset：https://drive.google.com/drive/folders/1j7Nkfe6ZhzKFXePHdsseeeGI877Xu1yf
Code & Model：https://github.com/zhmiao/OpenLongTailRecognition-OLTR
via https://bair.berkeley.edu/blog/2019/05/13/oltr/ 雷鋒網(wǎng) AI 科技評(píng)論報(bào)道
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
