用中文傳話游戲理解 RNN

本文作者： AI研習社-譯站

2018-05-31 10:02

導語：如何優(yōu)雅理解 RNN？

雷鋒網(wǎng)按：本文為雷鋒字幕組編譯的技術(shù)博客，原文名 Understanding RNNs using the game of Chinese whispers ，作者 Eniola Alese。

翻譯 | 陳濤整理 | 吳璇

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）是人工神經(jīng)網(wǎng)絡(luò)中非常流行的一個版本，其可以很好地處理序列數(shù)據(jù)類型。該數(shù)據(jù)類型指的是將一組數(shù)據(jù)點以特定順序排列，從而使相關(guān)的數(shù)據(jù)點一個挨著一個，具體的例子有：股票市場價格、音頻和視頻數(shù)據(jù)、DNA 序列、傳感器數(shù)據(jù)、自然語言文本等等。

為了直觀地了解 RNN 是如何工作的，假設(shè)我們正在玩一個很受歡迎的兒童游戲——中文傳話。該游戲的目的是最后一個人能準確預測出句子中所漏掉的詞語，比如「The brown dog has four _____」。

用中文傳話游戲理解 RNN

中文傳話游戲

玩家們需要排成一隊，并且根據(jù)句子中詞語的排列，每個人都會得到其中的一個詞語，比如玩家 1 得到詞語「the」，玩家 2 得到詞語「brown」，玩家 3 得到詞語「dog」，以此類推。首先，隊伍中的第一個人把他聽到的詞語悄悄地告訴隊伍中站在他身后的玩家。然后這個玩家將這個詞語和自己的詞語一起悄悄地告訴他身后的人。接下來，整個隊伍不斷重復這個過程直到最后一個玩家。最后的玩家需要預測出所漏掉的詞語，并大聲地把這個消息告訴整個集體。

顯而易見的是，最后一個玩家可以準確地猜出漏掉的詞語是「legs」。這是因為前一個玩家告訴了他這個句子的前面部分：「The brown dog has four」，所以他能夠通過該語境推導出這個詞語。

上文說明了 RNN 的基本原理。通過提取序列之前的信息，并結(jié)合序列當前的輸入，該網(wǎng)絡(luò)能夠預測出序列的下一個輸出。

RNN 的展開

由上文可知，RNN 能夠通過對整個序列重復同樣的過程，從而做出預測。左下圖顯示了循環(huán)網(wǎng)絡(luò)的基本結(jié)構(gòu)。它同時接收序列數(shù)據(jù)輸入向量（x）和隱藏狀態(tài)信息（a），然后使用二者去預測序列數(shù)據(jù)的輸出。

用中文傳話游戲理解 RNN

為了正確地將系統(tǒng)工作方式可視化，我們通常把 RNN 展開成與序列數(shù)據(jù)長度一致的一連串重復的單元或稱之為時間步（如右上圖所示）。比如我們需要處理的序列是一個有三個詞語的句子時，那么其將被展開成有三個時間步的 RNN 網(wǎng)絡(luò)，每一個時間步處理一個詞語。

RNN 的設(shè)計架構(gòu)

序列數(shù)據(jù)的輸入和輸出有各種各樣的形式和長度。比如在情感分析任務(wù)中，輸入通常是一串文本，而期望的輸出是一個整數(shù)（1-5 的評分范圍）或是單個文本（好的、壞的，積極的、消極的、中性的）。然而在語音文本任務(wù)中，輸入則是聲波中的一串聲音信號，其輸出則是一串對應(yīng)的文本。

正是由于這些差異，當需要處理序列任務(wù)時，我們會針對性地設(shè)計 RNN 的輸入和輸出結(jié)構(gòu)。一些常見的架構(gòu)類型如下：

1. 多對多架構(gòu)（同樣的序列長度）

這是最基本的 RNN 結(jié)構(gòu)，在每個時間步中輸入序列的數(shù)量與輸出序列的數(shù)量是一致的。一個使用該架構(gòu)的應(yīng)用實例是文本生成器：根據(jù)句子中前面的詞語，預測下一個最有可能的詞語。

用中文傳話游戲理解 RNN

采用多對多 RNN 架構(gòu)的文本生成器

如上圖所示，文本生成器的輸入是一串詞語，輸出則是由預測得到的下一個詞所組成的一串詞語：「brown dog has four legs」。

2. 多對多架構(gòu)（不同序列長度）

當需要處理輸入和輸出序列的數(shù)量不一致時，我們便可采用多對多架構(gòu)的另一種版本。而機器翻譯任務(wù)就是這樣的一個應(yīng)用實例：輸入是原文的一串詞語（比如法文），而輸出是譯文的一串詞語（比如英文）。這個架構(gòu)有兩個不同的模塊：編碼器和解碼器。前者接受輸入的句子，將其映射成內(nèi)部狀態(tài)表征，然后將其傳給后者，以供其生成輸出的句子。

用中文傳話游戲理解 RNN

采用多對多 RNN 架構(gòu)的機器翻譯

在此架構(gòu)中，當編碼器將全部的輸入序列處理完后，解碼器才開始對輸出的序列進行預測。這與前面提到的相同序列長度架構(gòu)完全不同，在那個架構(gòu)中，其每收到一個輸入序列對象后，馬上開始對每一個輸出序列對象進行預測。

3. 多對一架構(gòu)

在此架構(gòu)中，RNN 在每個時間步都有一串輸入，但只有在最后一個時間步輸出一個單一值。情感分析任務(wù)正是此情景下的應(yīng)用實例：任務(wù)的目的是對輸入的語句進行分類，判斷其是否有正面或負面的情感。

用中文傳話游戲理解 RNN

采用多對一 RNN 架構(gòu)的情感分析任務(wù)

在上圖的情感分析任務(wù)中，RNN 并不是在每個時間步都有輸出，而是在讀完整串詞語后，僅在最后一個時間步輸出一個單一值：「positive」。

4. 一對多架構(gòu)

此處的 RNN 在第一個時間步接受一個單一值，然后在剩余的時間步中輸出一串值。基于此架構(gòu)的應(yīng)用通常會取得每個時間步的預測輸出，并把它傳遞給下一層，作為該層的輸入值。一個應(yīng)用實例是圖像標注：RNN 接受一幅圖像作為輸入，然后輸出描述圖像中所發(fā)生事情的一串詞語。

用中文傳話游戲理解 RNN