國內(nèi)首次零樣本學(xué)習(xí)算法大賽開啟報名，零樣本數(shù)據(jù)集免費下載

本文作者：楊文

2018-03-22 10:05

導(dǎo)語：零樣本學(xué)習(xí)算法大賽開啟報名

雷鋒網(wǎng) AI 研習(xí)社按：去年，由創(chuàng)新工場、搜狗、頭條聯(lián)合主辦的 AI Challenger（簡稱 AIC）全球 AI 挑戰(zhàn)賽吸引了來自 65 個國家 8892 支團(tuán)隊參賽，經(jīng)過激烈的角逐，最終勝出的團(tuán)隊共同瓜分了大賽提供的百萬獎金。

2018，AIC 全新賽季開啟預(yù)熱。3 月 22 日起，零樣本學(xué)習(xí)（zero-shot learning）競賽正式在線開啟比賽。

這次的零樣本學(xué)習(xí)競賽同樣發(fā)布大規(guī)模圖像屬性數(shù)據(jù)集，包含 78017 張圖片、230 個類別、359 種屬性。與目前主流的用于 zero-shot learning 的數(shù)據(jù)集相比，圖片量更大、屬性更豐富、類別與 ImageNet 重合度更低。

零樣本學(xué)習(xí)（zero-shot learning）

什么是零樣本學(xué)習(xí)？簡單來說就是識別從未見過的數(shù)據(jù)類別，即訓(xùn)練的分類器不僅僅能夠識別出訓(xùn)練集中已有的數(shù)據(jù)類別，還可以對于來自未見過的類別的數(shù)據(jù)進(jìn)行區(qū)分。例如識別一張貓的圖片，但在訓(xùn)練時沒有訓(xùn)練到貓的圖片和對應(yīng)貓的標(biāo)簽。那么就可以通過比較這張貓的圖片和訓(xùn)練過程中的哪些圖片相近，進(jìn)而找到相近圖片的標(biāo)簽，再通過這些相近標(biāo)簽去找到貓的標(biāo)簽。本質(zhì)上，零樣本學(xué)習(xí)屬于遷移學(xué)習(xí)的一種。

零樣本學(xué)習(xí)的意義也顯而易見：在傳統(tǒng)圖像識別任務(wù)中，訓(xùn)練階段和測試階段的類別是相同的，但每次為了識別新類別的樣本需要在訓(xùn)練集中加入這種類別的數(shù)據(jù)。一些類別的樣本收集代價大，即使收集到足夠的訓(xùn)練樣本，也需要對整個模型進(jìn)行重新訓(xùn)練。這都會加大識別系統(tǒng)的成本，零樣本學(xué)習(xí)方法便能很好的解決這個問題。

零樣本學(xué)習(xí)研究現(xiàn)狀

早期的零樣本學(xué)習(xí)研究可以追溯到 2008 年。那時，Larochelle 等人針對字符分類問題提出了零樣本學(xué)習(xí)（zero shot learning）方法，并且識別準(zhǔn)確率達(dá)到了 60%。

2009 年 Lampert 等人提出了 Animals with Attributes 數(shù)據(jù)集和經(jīng)典的基于屬性學(xué)習(xí)的算法，才算真正打開零樣本學(xué)習(xí)的關(guān)注度。

2013 年，發(fā)表在 NIPS 上的論文《DeViSE: A Deep Visual-Semantic Embedding Model》，解決了如何將已有的圖像分類模型應(yīng)用到訓(xùn)練中未涉及到的圖像分類中。

2014 年，在 ICLR 2014 上的發(fā)表的《Zero-Shot Learning by Convex Combination of Semantic Embeddings》繼承了前人研究方法中的主要思想（CNN+word2vec），但使用了更簡單的方法，從而保留了整個 CNN 結(jié)構(gòu)，且不需要 linear transformation。

之后，發(fā)表在 ICCV 2015 上的《Objects2action: Classifying and localizing actions without any video example》將零樣本學(xué)習(xí)研究又向前推動了一步。

如果讀了上面提到的三篇論文，大概會對零樣本學(xué)習(xí)的研究方法有所了解。但最經(jīng)典的零樣本學(xué)習(xí)方法是Lampert發(fā)表在CVPR 2009上的一篇論文《Learning To Detect Unseen Object Classes by Between-Class Attribute Transfer 》提出的直接屬性預(yù)測模型(DAP)。

國內(nèi)首次零樣本學(xué)習(xí)算法大賽開啟報名，零樣本數(shù)據(jù)集免費下載

模型中屬性訓(xùn)練是在傳統(tǒng)特征提取的基礎(chǔ)上的進(jìn)行的，首先使用顏色直方圖、局部自相似直方圖、SIFT 和 PHOG 等 6 種方法來提取樣本圖像的底層特征，這幾種特征包含了圖像的顏色、形狀和紋理等方面，所以通過這種特征提取方法得到的特征可以良好的表達(dá)圖像中的信息。這幾種圖像特征不僅適用與線性分類器，而且在非線性分類器中也能達(dá)到良好的表現(xiàn)。在 DAP 方法中，通過上述的特征提取方法得到樣本的圖像特征后，將特征用于屬性分類器的訓(xùn)練，然后將訓(xùn)練得出的模型用于屬性的預(yù)測，最后采用貝葉斯方法推算測試樣本的類別。近年來深度特征的使用大幅提高了零樣本識別的準(zhǔn)確率。

零樣本學(xué)習(xí)潛在應(yīng)用場景

零樣本學(xué)習(xí)是希望借助輔助知識（如屬性、詞向量、文本描述等）學(xué)習(xí)從未見過的新概念。因此，在一些場景下，如細(xì)粒度物體識別、任意語言之間的翻譯等，難以獲得足夠的有標(biāo)注的數(shù)據(jù)來訓(xùn)練識別或預(yù)測模型可以嘗試使用零樣本學(xué)習(xí)來解決。

物體識別

例如，模型在「馬」、「?！沟阮悇e上訓(xùn)練過，因此模型能夠準(zhǔn)確地識別「馬」、「牛」的圖片。當(dāng)模型遇到「象」這個新類別，由于從未見過，模型無法作出判斷。傳統(tǒng)解決方案是收集大量「象」的圖片，與原數(shù)據(jù)集一起重新訓(xùn)練。這種解決方案的代價高、速度慢。然而，人類能夠從描述性知識中快速學(xué)習(xí)一個新概念。例如，一個兒童即使沒有見過「象」，當(dāng)提供他文本描述「象是一種的大型食草類動物，有長鼻和長牙」。兒童能夠根據(jù)描述快速學(xué)會「象」這一新類別，并能在第一次見到「象」時識別出來。零樣本學(xué)習(xí)與之類似，在沒有任何訓(xùn)練樣本的情況下，借助輔助知識（如屬性、詞向量、文本描述等）學(xué)習(xí)一些從未見過的新概念（類別）。

語言翻譯

比如說要進(jìn)行三種語言之間的翻譯，按照傳統(tǒng)的方法需要分別訓(xùn)練六個網(wǎng)絡(luò)，在日語和韓語之間沒有那么多樣本的情況下，訓(xùn)練英語→特征空間→日語，韓語→特征空間→英語這兩個網(wǎng)絡(luò)，那么就可以自動學(xué)會韓語→特征空間→日語這個翻譯過程。

圖像合成

近年來，對抗網(wǎng)絡(luò) GAN 被用于圖像合成，取得了以假亂真的效果。但傳統(tǒng)圖像合成僅能合成見過的類別的圖像。零樣本圖像合成希望模型能夠合成從未見過的類別的圖像。目前已有一些算法通過條件 GAN 網(wǎng)絡(luò)實現(xiàn)了零樣本圖像合成。

圖像哈希

傳統(tǒng)圖像哈希算法利用一些訓(xùn)練樣本來學(xué)習(xí)針對某些類別的哈希算法。但這些學(xué)習(xí)到的哈希算法無法用于新類別。零樣本圖像哈希，希望在已知類別上學(xué)到哈希算法能夠運用到新的未知類別上。目前，一些基于屬性的零樣本哈希算法已經(jīng)被提出。

零樣本學(xué)習(xí)競賽

最后，歡迎對零樣本學(xué)習(xí)有研究的同學(xué)們來參加此次比賽。

國內(nèi)首次零樣本學(xué)習(xí)算法大賽開啟報名，零樣本數(shù)據(jù)集免費下載