雷鋒網(wǎng)AI科技評論消息：近日，在加拿大多倫多大學向量學院發(fā)起的“2017 - 2018年機器學習進展與應用”研討會上，神經(jīng)網(wǎng)絡之父Geoffrey Hinton做了一場報告《What is wrong with convolutional neural nets?》，在報告中Hinton講解了他多年來一直在做的研究工作，他稱之為“膠囊理論”（capsules theory）。

在報告中，他認為“標準神經(jīng)網(wǎng)絡”與真實的大腦神經(jīng)網(wǎng)絡相比有以下四個問題：

1、池化過程并沒有很好地模仿大腦中形狀知覺的心理過程——它不能解釋為什么我們人類能將內在的坐標系映射到物體上，以及為什么這些坐標系這么重要；

2、池化解決的問題是錯的——我們想要的是信息的同變性而不是不變性，是理清信息而不是丟棄信息；

3、池化沒有利用底層線性結構——它沒有利用在圖形中能很好地處理方差最大來源的自然線形流形。

4、池化在處理動態(tài)路由時很差勁——我們需要將輸入信息的每一部分路由到知道如何處理它的神經(jīng)元中，找到最佳的路徑就是在解析圖像。

Hinton提出了他“膠囊”（capsules）的概念。簡單地說，這些“膠囊”就是在神經(jīng)網(wǎng)絡中構建和抽象出的子網(wǎng)絡。什么意思呢？一個標準的神經(jīng)網(wǎng)絡，層與層之間是全連接的（也就是說，層1中的每個神經(jīng)元都可以訪問層0中的每個神經(jīng)元，并且其本身也可以被層2中每個神經(jīng)元所訪問），但這些連接并不一定都是有用的?！澳z囊理論”的方案是，神經(jīng)網(wǎng)絡由n個子網(wǎng)絡（膠囊）構成，每個膠囊都專注于做一些單獨的任務，膠囊本身可能需要多個層網(wǎng)絡來實現(xiàn)。其輸出包括物體所屬類型的概率以及物體的狀態(tài)信息（比如位置、方向、大小、形變、速率、顏色等）。低層次膠囊輸出的參數(shù)會被轉換成高層級膠囊對實體狀態(tài)的預測，如果預測一致，則輸出這一層次的參數(shù)。

一個典型的膠囊將從多個低層次的膠囊中獲得信息（多維預測向量），然后尋找一個預測的緊致束（tight cluster of predication）。如果它能夠找到這個緊致束，那么它就會輸出實體在這個域內類型存在的較高的概率，以及生成狀態(tài)的重心（狀態(tài)平均值）。這種方式可以很好地過濾掉噪聲，因為較高維度的巧合發(fā)生的概率很小，所以膠囊的方法要比“標準的神經(jīng)網(wǎng)絡”好很多。Hinton說，他這種“膠囊”的想法是受到腦科學中對“迷你列組織”（mini-column organization）研究的很大的啟發(fā)。

此外，據(jù)雷鋒網(wǎng)了解，關于“膠囊理論”的研究Hinton已在多個場合做過類似的報告，不過目前Hinton好想并沒有打算把他的研究成果發(fā)表出去，因為他覺得現(xiàn)在的研究還沒有讓他滿意——那么，當他對這項研究滿意的時候，會不會再次成為“the Father of ……”  ？

雷鋒網(wǎng)注：資源鏈接——

1、What's wrong with convolutional nets? @MIT TechTV(2014年在“腦與認知科學”研討會上的報告視頻，內容類似)

2、Hinton未發(fā)表工作：Transforming Auto-encoders（PDF）

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。