0
| 本文作者： 不靈叔 | 2017-12-26 11:17 |
雷鋒網(wǎng) AI 研習社按：本文為 seaboat 為雷鋒網(wǎng) AI 研習社撰寫的獨家稿件，未經(jīng)雷鋒網(wǎng)許可不得轉(zhuǎn)載。
前言
在 NLP 領(lǐng)域中，為了能表示人類的語言符號，一般會把這些符號轉(zhuǎn)成一種數(shù)學向量形式以方便處理，我們把語言單詞嵌入到向量空間中就叫詞嵌入（word embedding）。
比如有比較流行的谷歌開源的 word2vec ，它能生成詞向量，通過該詞向量在一定程度上還可以用來度量詞與詞之間的相似性。word2vec采用的模型包含了連續(xù)詞袋模型（CBOW）和 Skip-Gram 模型，并通過神經(jīng)網(wǎng)絡(luò)來訓練。
但這篇文章不深入講 word2vec 的內(nèi)容，而是看看另外一種詞向量生成方式——基于典型相關(guān)分析的詞向量。
說到詞向量就必須先看詞向量的形式，一般有兩類，分別是 one-hot 形式和分布式形式。前面我們說過詞向量就是用來表示人類語言的一種數(shù)學化的方式，最簡單的向量方式即是 one-hot 形式。
它的處理方式簡單粗暴，一般就是統(tǒng)計詞庫包含的所有V個詞，然后將這V個詞固定好順序，然后每個詞就可以用一個V維的稀疏向量來表示，向量中只有在該詞出現(xiàn)的位置的元素才為1，其它元素全為0。比如下面這幾個詞，第一個元素為1的表示中國，第六個元素為1的表示美國，第五個元素為1的表示日本。
從中可以看到 one-hot 形式的維數(shù)通常會很大，因為詞數(shù)量一般在10W級別，這會導致訓練時難度大大增加，造成維數(shù)災難。另外這么多維只以順序信息并且只用1和0來表示單詞，很浪費空間。再一個是這種方式的任意兩個詞都是孤立的，沒法看出兩個詞之間的相似性。于是看看有沒有改進的方法。
鑒于 one-hot 形式詞向量的缺點，出現(xiàn)了另外一種詞向量表示方式——分布式詞向量(distributed word representation)。 分布式詞向量則干脆直接用普通的向量來表示詞向量，而元素的值為任意實數(shù)，該向量的維數(shù)可以在事前確定，一般可以為50維或100維。這時的詞向量類似如下（這里假設(shè)用5維來表示）：
其中每個元素的具體數(shù)值則由訓練來確定。這樣一來就克服了在深度學習中可能的維度災難，而且充分利用了空間，如果使用適當?shù)挠柧毞椒ㄓ柧毘鰜淼脑~向量還可以直接根據(jù)兩個詞之間的距離來計算相似性。
典型相關(guān)分析主要用于分析兩組變量之間的關(guān)系，通過該方法能有效分析相關(guān)關(guān)系。
傳統(tǒng)簡單的分析方式是直接用協(xié)方差矩陣，比如我們有兩組變量
和
，那么最原始的方法就是直接計算X和Y的協(xié)方差矩陣，矩陣有m*n個值。有了協(xié)方差矩陣就得到了兩兩變量之間的相關(guān)性，比如
就是變量
和
的相關(guān)性。但這種方式存在缺點，只考慮了變量之間單個維度之間的相關(guān)性，于是可采用經(jīng)典相關(guān)分析改進。
經(jīng)典相關(guān)分析是分別在兩組變量中找出第一對線性組合，使他們具有最大相關(guān)性；接著再分別在兩組變量中找出第二對線性組合，使他們具有第二大的相關(guān)性，并且它們分別與本組內(nèi)的第一線性組合不相關(guān)。以此類推找出其他線性組合。
該方法的思想與主成分分析的思想相似，而其本質(zhì)就是從兩組變量中選取若干個有代表性的變量線性組合，用這些線性組合的相關(guān)性來表示原來兩組變量的相關(guān)性。
基于典型相關(guān)分析的詞向量的核心思想，它認為一段文字中某個詞的左右兩邊指定長度的窗口內(nèi)的詞組應該具有關(guān)聯(lián)，也就是說某個詞的左邊若干單詞組成上文，右邊若干單詞組成下文，從而應該讓上下文的關(guān)系盡可能緊密。如圖，假設(shè)窗口大小為2，則 w4 的左右兩窗口包含的詞組為上下文，類似的 w5 也有對應的上下文，每個詞都有一個對應的詞向量，那么要做的事就是最大化上下文兩個矩陣的協(xié)方差。
假設(shè)我們的語料包含了 n 個單詞，表示為{w1,w2,…wn}，我們的詞典大小為 v，窗口大小為 h，再設(shè)詞向量的維度為 k。單詞左右兩邊的上下文組成的矩陣我們分別定義為，
和 
，而整個語料的矩陣定義為
。
現(xiàn)在我們要做的就是找出兩個分別能最好代表左邊窗口的矩陣 L 和右邊窗口矩陣 R 的方向
和
，這兩個方向應該使得這兩個矩陣分別在對應方向上的投影的協(xié)方差最大，投影可以看成是在這兩個方向保留了兩個窗口矩陣的最具代表性的信息。于是最大化目標可以表示為
其中 E 表示經(jīng)驗期望，另外我們用 
表示矩陣 L 和矩陣 R 的協(xié)方差矩陣，用 
表示矩陣 L 和矩陣 L 之間的協(xié)方差矩陣，用
表示矩陣 R 和矩陣 R 之間的協(xié)方差矩陣，則有 
通過轉(zhuǎn)換，上述最大化目標的解可以由下面等式給出，
解上述方程，分別取得 k 個最大特征值的特征向量，組成左右窗口兩個方向向量
，它們的結(jié)構(gòu)為(vh × k)。然后將左窗口矩陣 L 和右窗口矩陣 R 分別投影到兩個方向向量上，即
，得到單詞對應的隱狀態(tài) S 矩陣，S 則是用 k 個最相關(guān)的成分來表示單詞。最后再對 S 和語料矩陣 W 做典型相關(guān)分析，即 CCA(S,W)，得到最終的詞向量嵌入矩陣，結(jié)構(gòu)為(v × k)，此即為用 k 維向量表示原來的 v 個單詞，實現(xiàn)詞嵌入。
雷峰網(wǎng)特約稿件，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
