1
| 本文作者： 李尊 | 2016-07-18 17:01 |
微軟研究院在IJCAI2016的Tutorial上講述了自己將深度學(xué)習(xí)、深度神經(jīng)網(wǎng)絡(luò)應(yīng)用于不同場(chǎng)景的情況，之前第二部分提到了深度學(xué)習(xí)在統(tǒng)計(jì)機(jī)器翻譯和會(huì)話中的應(yīng)用，本文為第三部分—選中自然語(yǔ)言處理任務(wù)的連續(xù)表達(dá)。
聯(lián)合編譯：Blake、章敏、陳?ài)?/p>
選中自然語(yǔ)言處理任務(wù)的連續(xù)表達(dá)
l 針對(duì)信息檢索和個(gè)人排序的深度語(yǔ)義相似模型（DSSM）
l 在連續(xù)語(yǔ)義自然語(yǔ)言處理任務(wù)環(huán)境中進(jìn)行深度強(qiáng)化學(xué)習(xí)
l 針對(duì)字幕與視覺(jué)問(wèn)題回答的多元語(yǔ)義學(xué)習(xí)&推理
對(duì)自然語(yǔ)言學(xué)習(xí)連續(xù)語(yǔ)義表達(dá)，例如：從原始語(yǔ)句到一個(gè)抽象語(yǔ)義矢量
在許多自然語(yǔ)言處理任務(wù)中Sent2Vec非常重要，它可以處理包括網(wǎng)頁(yè)搜索、廣告選取、文本排序、在線推薦、機(jī)器翻譯、知識(shí)架構(gòu)、問(wèn)題回答、個(gè)性化推薦、圖片搜索、圖標(biāo)注釋等問(wèn)題。
監(jiān)督問(wèn)題：
雖然
l 需要學(xué)習(xí)的文本語(yǔ)義是隱藏的
l 且沒(méi)有明確的目標(biāo)學(xué)習(xí)模型
l 另外不知如何反向傳播？
但是幸運(yùn)的是
l 我們一般知道倆個(gè)文本是否“相似”
l 這就是語(yǔ)義表達(dá)學(xué)習(xí)的信號(hào)
深度架構(gòu)語(yǔ)義模型
深度架構(gòu)語(yǔ)義模型/深度語(yǔ)義相似模型，將整個(gè)句子轉(zhuǎn)換成連續(xù)語(yǔ)義空間。例如：句子變成矢量
DSSM基于字符（非詞匯）建立實(shí)為了其可拓展性和普適性
DSSM被訓(xùn)練來(lái)優(yōu)化相似驅(qū)動(dòng)對(duì)象
在字符級(jí)別進(jìn)行編碼，即詞匯散列。
在字符級(jí)別建立的DSSM，將任意詞匯分解成一系列相關(guān)字符，傾向于處理大規(guī)模自然語(yǔ)言任務(wù)。
DSSM：一個(gè)相似驅(qū)動(dòng)Sent2Vec模型
初始化：神經(jīng)網(wǎng)絡(luò)使用隨機(jī)權(quán)重進(jìn)行初始化
訓(xùn)練：在語(yǔ)義矢量之間計(jì)算余弦相似度
運(yùn)行時(shí)間
訓(xùn)練目標(biāo)：基于余弦相似度的損失
使用網(wǎng)頁(yè)搜索作為示例：
查詢q與一系列文檔D
目標(biāo)：給定查詢后點(diǎn)擊文檔的可能性
在DSSM中使用卷曲神經(jīng)網(wǎng)絡(luò)
在卷曲層對(duì)本地文本進(jìn)行建模
在匯聚層對(duì)全局文本進(jìn)行建模
模型在卷曲層捕捉本地本文相關(guān)詞的意義，并學(xué)習(xí)了每個(gè)本地文本相關(guān)詞的嵌入矢量。
CDSSM:在最大匯聚層發(fā)生了什么？
將本地主題聚集起來(lái)形成全局化
識(shí)別最大聚集層的主要詞匯/短語(yǔ)
在最大聚集層獲得最活躍的神經(jīng)元詞匯
針對(duì)學(xué)習(xí)檢索的DSSM，訓(xùn)練數(shù)據(jù)組搜索記錄中的語(yǔ)義相關(guān)文本組。
實(shí)驗(yàn)設(shè)定
卷曲深度語(yǔ)義模型取得最佳結(jié)果。
語(yǔ)義匹配示例
卷積DSSM:
在卷積隱層一個(gè)接一個(gè)就行編碼
隱層在最后一個(gè)詞匯對(duì)整句進(jìn)行語(yǔ)義編碼
通過(guò)余弦相似驅(qū)動(dòng)目標(biāo)來(lái)訓(xùn)練模型
使用長(zhǎng)短期記憶（LSTM）結(jié)果：
LSTM比常規(guī)RNN學(xué)得快得多
LSTM能有效代表使用矢量句子的語(yǔ)義信息
DSSM與Seq2Seq對(duì)比
給出一個(gè)特別用戶的文章跨度代表利益實(shí)體，并尋找實(shí)體的補(bǔ)充文件。
學(xué)習(xí)DSSM的語(yǔ)境實(shí)體次序
從網(wǎng)頁(yè)瀏覽日志提取標(biāo)簽對(duì)，超鏈接指向維基百科P`時(shí)，P`中的H的錨文本，環(huán)境詞匯，文本
語(yǔ)境實(shí)體搜索——實(shí)驗(yàn)設(shè)置：
1.訓(xùn)練/驗(yàn)證數(shù)據(jù)是維基頁(yè)面中18M的用戶點(diǎn)擊量
2.評(píng)估數(shù)據(jù)：首先采樣10k的網(wǎng)頁(yè)文件作為源文件，然后使用文檔中被命名的實(shí)體作為查詢；第三保留100個(gè)返回文件作為目標(biāo)文件，最后手動(dòng)標(biāo)記是否每一個(gè)目標(biāo)文件都可以完好的描述實(shí)體。其中總共有870k標(biāo)簽對(duì)。
語(yǔ)境實(shí)體搜索的結(jié)果
一些相關(guān)的工作：
深度CNN文本輸入（文章中主要的分級(jí)任務(wù)）
序列到序列的學(xué)習(xí)；段落矢量（學(xué)習(xí)段落的矢量）
遞歸NN（樹(shù)狀結(jié)構(gòu)如分解）
張量積代表（樹(shù)狀代表）
樹(shù)狀結(jié)構(gòu)LSTM網(wǎng)絡(luò)（樹(shù)狀結(jié)構(gòu)LSTM）
強(qiáng)化學(xué)習(xí)的模型——包括環(huán)境狀態(tài)設(shè)置S；行動(dòng)設(shè)置A，以及狀態(tài)之間的轉(zhuǎn)換規(guī)則；狀態(tài)轉(zhuǎn)換的即時(shí)獎(jiǎng)勵(lì)規(guī)則和代理觀察規(guī)則。
Q-learning用于學(xué)習(xí)RL的政策（代理在給定的當(dāng)前狀態(tài)選擇行動(dòng)時(shí)必須遵循的規(guī)則）。其目的是找到MDP的最優(yōu)政策，方法是：學(xué)習(xí)一個(gè)行動(dòng)-價(jià)值函數(shù)，a.k.a。Q-函數(shù)：用于計(jì)算在訓(xùn)練收斂之后的狀態(tài)上，所采取行動(dòng)的期待效用。
最近的成就：深度Q網(wǎng)絡(luò)在玩五個(gè)Atari游戲時(shí)，達(dá)到了人類級(jí)別的性能。其中使用了卷積神經(jīng)網(wǎng)絡(luò)計(jì)算Q（s，a），并利用大的行動(dòng)空間，忽略小的行動(dòng)空間。
最近的成就（續(xù)）：機(jī)器人AlphaGO打敗了世界圍棋冠軍。它與深度Q網(wǎng)絡(luò)設(shè)置類似，忽略小的行動(dòng)空間，它的模型中建立了兩個(gè)CNNs網(wǎng)絡(luò)（policy網(wǎng)絡(luò)和value網(wǎng)絡(luò)）。
語(yǔ)言理解的強(qiáng)化學(xué)習(xí)：以文本串的形式描述狀態(tài)和行動(dòng)，代理通過(guò)文本串做出相應(yīng)正確的行動(dòng)（正確指最大化長(zhǎng)期獎(jiǎng)勵(lì)）。然后，環(huán)境狀態(tài)轉(zhuǎn)換到新的狀態(tài)，代理也得到即時(shí)獎(jiǎng)勵(lì)。
行動(dòng)空間和狀態(tài)空間都非常的巨大，而且行動(dòng)的特征由無(wú)界神經(jīng)語(yǔ)言描述確定。
在NLP任務(wù)中，行動(dòng)空間的特征由神經(jīng)語(yǔ)言決定，它是離散的且近乎于無(wú)邊界。我們提出了深度強(qiáng)化相關(guān)網(wǎng)絡(luò)，將狀態(tài)和空間都規(guī)劃到連續(xù)的空間中，其中Q-函數(shù)是狀態(tài)矢量和行為矢量的相關(guān)函數(shù)。
學(xué)習(xí)連續(xù)空間的視覺(jué)化，圖2表示了：嵌入狀態(tài)矢量和相關(guān)行動(dòng)矢量后200,400,600訓(xùn)練片段的文本PCA項(xiàng)目。狀態(tài)指：當(dāng)你向前移動(dòng)時(shí)。你周?chē)娜四樕下冻隽丝植赖谋砬?，并逃離街道。行動(dòng)1（好的選擇）：向上看，行動(dòng)2（不好的選擇）：無(wú)視他人的警告繼續(xù)前進(jìn)。
DRRN和DQN在兩個(gè)文本游戲上的測(cè)試結(jié)果（學(xué)習(xí)曲線）
表展示了聚集后Q函數(shù)的示例值，且DRNN很好的概括了無(wú)法看見(jiàn)的行為。
人類學(xué)習(xí)處理文本，圖像和聯(lián)合的信息。
圖像側(cè)卷積網(wǎng)絡(luò)實(shí)現(xiàn)過(guò)程
語(yǔ)言側(cè)卷積網(wǎng)絡(luò)實(shí)現(xiàn)過(guò)程
圖像說(shuō)明，通過(guò)深度學(xué)習(xí)模式檢測(cè)圖像中的關(guān)鍵概念，MELE從圖像檢測(cè)中產(chǎn)生解釋。檢測(cè)單詞后，對(duì)其進(jìn)行重新排列組成句子。
CaptionBot示例
說(shuō)明到回答問(wèn)題的過(guò)程
堆積注意模式推理工程：?jiǎn)栴}模式，圖像模式，多水平注意模式，回答預(yù)測(cè)器。
SAN圖像模式
SAN中問(wèn)題模式
回答示例
總結(jié)：
本部分主要介紹通過(guò)DSSM學(xué)習(xí)Sent2Vec，在連續(xù)空間內(nèi)對(duì)NLP任務(wù)進(jìn)行強(qiáng)化學(xué)習(xí)以及視覺(jué)語(yǔ)言聯(lián)合表達(dá)學(xué)習(xí)等概念。具體包括：
通過(guò)DSSM學(xué)習(xí)Sent2Vec：
DSSM把整個(gè)句子放在連續(xù)的空間內(nèi)
基于特征字符級(jí)別建立DSSM
DSSM直接優(yōu)化目標(biāo)函數(shù)的語(yǔ)義相似度
在連續(xù)空間內(nèi)對(duì)NLP任務(wù)進(jìn)行強(qiáng)化學(xué)習(xí)：
使用深度神經(jīng)網(wǎng)絡(luò)把狀態(tài)和行動(dòng)（無(wú)邊界NL決定）放入連續(xù)語(yǔ)義空間
在連續(xù)語(yǔ)義空間計(jì)算Q函數(shù)
視覺(jué)語(yǔ)言聯(lián)合表達(dá)學(xué)習(xí)：
圖像解釋——CaptopnBot示例
視覺(jué)問(wèn)題回答——關(guān)鍵在于推理
PS : 本文由雷鋒網(wǎng)獨(dú)家編譯，未經(jīng)許可拒絕轉(zhuǎn)載！
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
