雷鋒網(wǎng) AI 科技評論按：隨著深度學(xué)習(xí)模型自身的學(xué)習(xí)和表達能力的提高，越來越多的研究員已經(jīng)把注意力轉(zhuǎn)向了如何讓 AI 和人類更好地互動。這就是一批難得多的問題了，之前雷鋒網(wǎng) AI 科技評論也報道過 Facebook AI 研究院在基于圖像的對話系統(tǒng)方面的研究進展。

近期的 NIPS 2017 上，IBM AI 研究院和伊利諾伊大學(xué)厄巴納-香檳分校（UIUC）共同組成的團隊也有一篇論文被收錄為口頭報告論文（錄取率僅為1.2%），其中提出了一種新的監(jiān)督學(xué)習(xí)算法，用來解決 AI 領(lǐng)域廣為人知的場景認知（textual grounding）問題，同時撰寫了一篇博文簡單介紹了論文成果。雷鋒網(wǎng) AI 科技評論把這篇博文編譯如下。

想象這樣一種情況，你想讓別人遞一件東西給你。你可能會說：「幫我拿一下你左邊那張桌子上的藍色鋼筆吧?！谷撕腿酥g就是這樣溝通的，用自然語言描述場景和目標物體。然而，想要教會人工智能系統(tǒng)執(zhí)行這樣的指令從來都是一件非常困難的事情。AI 可能可以識別「藍色的鋼筆」以及「桌子」這樣的物體，但是如果有一張以上的桌子，就不一定知道是哪一張桌子了。這里欠缺的就是如何教會系統(tǒng)把給定圖像、給定場景中的東西和輸入的文本準確地聯(lián)系起來。AI 系統(tǒng)的視野里往往會有許許多多的其它物體，而想要找的目標只是在某一個特定的小區(qū)域里而已。

如今的智能系統(tǒng)已經(jīng)可以搭載各種各樣的傳感器，輕松地通過圖像（甚至視頻）和聲音的形式捕捉周圍環(huán)境的細節(jié)信息。但是如果想要弄懂這些記錄的信息，然后基于它們跟人類進行互動的話，智能系統(tǒng)就需要在人類的話語和圖像之間建立聯(lián)系。場景認知要解決的就是把文本詞組（比如語音識別引擎識別得到的話語）和圖像中的區(qū)域連接起來的問題。換句話說，對于話語中提到的每一個物體（比如「藍色的鋼筆」和「你左邊的桌子」），都要在圖像中找到包含它的區(qū)域（這樣系統(tǒng)就知道去那里幫你取了）。

很容易想到，場景認知有許多可能的應(yīng)用領(lǐng)域，上面提到的這個人和 AI 互動的例子就是一種簡單的情況。

IBM 和 UIUC 聯(lián)合開發(fā)的算法在兩個廣泛使用的數(shù)據(jù)集中都刷新了當前的最好成績：在 Flickr 30K 實體數(shù)據(jù)集上達到了 53.97% 準確率，超過此前最佳的 50.89%；然后在 ReferItGame 數(shù)據(jù)集上獲得了 34.7% 的準確率，超過此前最佳的 26.93%。算法的輸出如下圖所示。

兩位戴著插花帽子的女士正在擺pose

在 IBM 和 UIUC 的研究人員們看來，這項成果的最大意義并不僅僅在于數(shù)據(jù)集上的準確率數(shù)字的提升（當然這確實也是一項重要的指標），更重要的是所提出的方法也相當優(yōu)雅。下面圖中就是所提方法的示意圖。

所提模型的總體結(jié)構(gòu)

許多現(xiàn)有方法都是基于深度學(xué)習(xí)的，圖像中的特征通過端到端的訓(xùn)練方式進行提取，但這樣得到的特征的含義就很難解釋。這篇論文中作者們提出的是一個混合型的方案，把一組顯式地提取出的特征（文中稱作「分數(shù)表」score maps）和一個構(gòu)建出的 SVM 模型結(jié)合在一起。特征的分數(shù)表是可以拓展的，所以算法可以輕松地包含任何新的特征。論文中選擇了一些容易獲得的特征，比如從輸入問句中得到的單詞先驗知識、區(qū)域幾何偏好，以及其它一些語意分割、目標檢測、位姿估計這樣的依靠深度神經(jīng)網(wǎng)絡(luò)得到的「圖像概念」。

在多數(shù)現(xiàn)有模型中，對于給定的一組候選區(qū)域，推理過程中都做的是相對簡單直接的矩陣向量相乘操作。而對于論文中的混合模型，推理過程中要求解一個最小能量問題，它會搜索所有可能的邊界框，找到最匹配程度最高的那個。

為了能夠解出這個最小能量問題，作者們使用了一個帶有分支定界 (branch and bound) 的子窗口搜索算算法，使得這個混合模型的端到端訓(xùn)練具有計算可行性（因為訓(xùn)練的時候需要多次求解最小能量問題）。作者們還對目標函數(shù)定義了一個帶有可以輕松算出邊界的恰當能量函數(shù)，以便高效地求解問題，并且可以去掉目前多數(shù)場景認知模型都用到的提出候選區(qū)域這個過程。

測試中，這個模型在場景認知的質(zhì)量和可解釋性兩個方面都帶來了巨大的提升?？山忉屝缘囊环N體現(xiàn)是單詞嵌入，比如詢問語句的表征；對于這個模型，每個嵌入元素都可以和顯式提取出的特征分數(shù)表（或者圖像概念）產(chǎn)生直接的關(guān)聯(lián)。當計算兩個單詞向量的余弦相似度的時候，這種嵌入的好處就可以得到明顯的體現(xiàn)，同時也說明了比較接近的語句之間在語義上也有關(guān)聯(lián)性（而且可以據(jù)此進行分組）。比如，「茶杯」、「飲料」、「咖啡」三個單詞在語義上比較接近，在單詞嵌入空間中它們的相似度也就遠高于和其它不相關(guān)的單詞之間的相似度。

研究員們未來的研究計劃包括，把圖像特征和輸入詞句連接起來以提升可解釋性，以及把結(jié)構(gòu)化信息顯式地加入到模型中任何可能的位置上（比如這項研究中就有結(jié)構(gòu)化輸出）。作者們也意識到，從他們初次發(fā)表這項研究到現(xiàn)在，場景認知方面又有了許多新的論文、新的研究結(jié)果，所以他們也會向著「讓人類和計算機之間更好地互動」的目標繼續(xù)進行場景認知研究。

論文地址：papers.nips.cc/paper/6787/textual-grounding

via IBM Research，雷鋒網(wǎng) AI 科技評論編譯

相關(guān)文章：

德?lián)?AI 不完全信息博弈論文領(lǐng)銜，NIPS 2017最佳論文 3 + 1 已經(jīng)揭曉

NIPS 2017現(xiàn)場：8000人參會，最佳論文公布，算法壓倒深度學(xué)習(xí) | NIPS 2017

能看圖回答問題的AI離我們還有多遠？Facebook向視覺對話進發(fā)

Facebook 開始新一輪實習(xí)生招募計劃，本科學(xué)歷、了解Python、熟悉深度學(xué)習(xí)框架……

李飛飛：在物體識別之后，計算機視覺還要多久才能理解這個世界 | IROS 2017

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。