雷鋒網(wǎng) AI 科技評(píng)論按：在剛剛結(jié)束的巴黎綜合理工學(xué)院舉行的 Data Science 暑期學(xué)校中，Yoshua Bengio 以《Deep Learning for AI》為主題進(jìn)行了演講。在這節(jié)課上，Bengio 教授結(jié)合自己以往的研究經(jīng)歷，回顧和分享了自己在深度學(xué)習(xí)領(lǐng)域的一些心得和經(jīng)驗(yàn)。雷鋒網(wǎng) AI 科技評(píng)論整理如下。

在課程的最開(kāi)始，Bengio 為自己的新書(shū)《Deep Learning》打了個(gè)小廣告（笑），表示目前雖然 MIT Press 已經(jīng)集合成書(shū)，但原文依然可以在線閱讀。

深度學(xué)習(xí)已經(jīng)取得了越來(lái)越重要的突破，從感知、掌握語(yǔ)言、玩游戲、或是分析上，深度學(xué)習(xí)的影響力一直不可小視。

從學(xué)習(xí)層面上看，深度學(xué)習(xí)是將知識(shí)傳遞給智能體的強(qiáng)大方法，但傳統(tǒng) AI 方法失效的原因在于，大量的知識(shí)是直觀且難以傳遞的。因此，目前深度學(xué)習(xí)的主流方法是讓系統(tǒng)從數(shù)據(jù)和經(jīng)驗(yàn)中獲取知識(shí)。

要想讓深度學(xué)習(xí)真正向人工智能邁進(jìn)，Bengio 認(rèn)為需要滿足五個(gè)核心條件。

• 需要有大量的數(shù)據(jù)

• 要有靈活的模型

• 足夠的算力

• 計(jì)算機(jī)具有有效的推斷能力

• 也是最重要的一點(diǎn)，能夠避免層次（dimentionality）問(wèn)題。

而 Bengio 認(rèn)為，要解決最后一個(gè)問(wèn)題，我們需要在深度學(xué)習(xí)模型中引入「組合性」的概念。

就像人類(lèi)語(yǔ)言可以通過(guò)不同的組合形式來(lái)賦予句子意義，陳述復(fù)雜的想法，組合能夠在表征能力上實(shí)現(xiàn)指數(shù)級(jí)的提升。組合性（compostionality）能夠有效地對(duì)我們周?chē)氖澜邕M(jìn)行描述和理解。

在這里，Bengio 通過(guò)分布式表征/嵌入（特征學(xué)習(xí)）和深層建設(shè)（多層次的特征學(xué)習(xí)）兩個(gè)例子陳述了組合性的強(qiáng)大力量。

那么，深度學(xué)習(xí)既然存在已久，最近到底有哪些進(jìn)展和變化呢？

Xavier Glorot 和 Bengio 在 AISTATS 2011 的論文《Deep Sparse Rectifier Neural Networks》中提出了一個(gè)重要的結(jié)論，即 ReLU 的稀疏表達(dá)能力是網(wǎng)絡(luò)性能提升的原因之一。

而在 2014 年的 NIPS 上，GANs 的提出讓無(wú)監(jiān)督生成神經(jīng)網(wǎng)絡(luò)在處理圖像、語(yǔ)音和文本上取得了新的進(jìn)步。ICLR 15' 之后，以谷歌神經(jīng)網(wǎng)絡(luò)為代表的基于注意力機(jī)制的深度學(xué)習(xí)發(fā)展，又將機(jī)器翻譯水平帶向了一個(gè)新的高度。注意力機(jī)制為神經(jīng)網(wǎng)絡(luò)在記憶領(lǐng)域提供了一個(gè)嶄新的大門(mén)，而基于記憶增強(qiáng)的神經(jīng)網(wǎng)絡(luò)也為分析與問(wèn)題解答的相關(guān)系統(tǒng)提供了有效機(jī)制。

Bengio 也提出，在深度學(xué)習(xí)取得越來(lái)越好的表現(xiàn)之時(shí)，我們也開(kāi)始思考為何深度學(xué)習(xí)能有這么好的效果。自然，不可忽略的一點(diǎn)是它的泛化性能非常好，而且在優(yōu)化上，SGD 和非凸的特性也讓它取得了極好的效果。

目前在工業(yè)界，效果最好的依然是監(jiān)督學(xué)習(xí)，而人類(lèi)的無(wú)監(jiān)督學(xué)習(xí)能力依然完勝計(jì)算機(jī)。也就是舉一反三的能力，比如一個(gè)兩歲小孩也能夠理解直觀物理學(xué)。小寶寶可以構(gòu)建一個(gè)抽象但足夠可靠的物理模型，主要原因在于它與真實(shí)世界進(jìn)行了互動(dòng)，而不僅僅是作為旁觀者進(jìn)行觀察。

谷歌大腦研究科學(xué)家 Hugo Larochelle 在 AAAI 2008 年和 Bengio、Dumitru Erhan 一起發(fā)表了《Zero-data Learning of New Tasks》，提出了零數(shù)據(jù)學(xué)習(xí)的概念；它與零例學(xué)習(xí)（Zero-Shot Learning）一起，在領(lǐng)域適應(yīng)性上努力嘗試做出更多的遷移。

早期的 GANs 訓(xùn)練了包括數(shù)字、人臉、風(fēng)景、動(dòng)物的一系列樣本，也包括卷積 GANs 的臥室圖片。

而在 CVPR 2017 上，Bengio 團(tuán)隊(duì)也發(fā)表了一篇相關(guān)文章《即插即用生成網(wǎng)絡(luò)：在潛在空間中生成條件迭代圖像》。

此外，Bengio 還提及了一些遺漏的要點(diǎn)，比如：

• 系統(tǒng)的學(xué)習(xí)越主動(dòng)，無(wú)監(jiān)督學(xué)習(xí)的效果越好。

• 發(fā)現(xiàn)潛在的因果因素；

• 基于模型的的 RL，擴(kuò)展到新的預(yù)測(cè)模型，能夠幫助分析一些難以觀察到的危險(xiǎn)情況；

• 足夠的算力能夠讓模型捕捉到人類(lèi)層面的知識(shí)；

• 自動(dòng)挖掘不同的時(shí)間尺度，以處理長(zhǎng)期依存關(guān)系；

• 真正要理解人類(lèi)的語(yǔ)言，依然需要足夠的常識(shí)；

• 零例學(xué)習(xí)，以及抽象和闡述以往的觀察結(jié)果，得益于大規(guī)模的知識(shí)表征技術(shù)。

在演講的最后，Bengio 強(qiáng)調(diào)了深度 AI（Deep AI）的未來(lái)，他認(rèn)為有如下幾點(diǎn)需要注意：

• 科學(xué)的進(jìn)步是緩慢而漸進(jìn)的，但社會(huì)層面和經(jīng)濟(jì)層面的轉(zhuǎn)變則可能是具有顛覆性的。

• 我們面臨著許多基礎(chǔ)研究問(wèn)題，雖然當(dāng)我們逐一解決這些問(wèn)題的時(shí)候，我們可能會(huì)面臨更多的不確定，但我們?nèi)匀粫?huì)繼續(xù)攻克它們。

• 不論是出于長(zhǎng)期或是短期的考慮，持續(xù)對(duì)基礎(chǔ)性/探究性 AI 研究進(jìn)行投入非常重要。

• 讓我們繼續(xù)讓這一領(lǐng)域保持開(kāi)放和自由，對(duì)社會(huì)影響保持開(kāi)放的心態(tài)，并且相信，AI 將會(huì)持續(xù)發(fā)展，并受益我們的每一個(gè)人。

如果希望下載完整 PPT，歡迎關(guān)注f雷鋒網(wǎng)「AI 科技評(píng)論」（aitechtalk）并回復(fù)「Bengio」獲取下載鏈接。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。