雷鋒網(wǎng)按：本文作者夏洪進(jìn)，原載于作者個(gè)人博客，雷鋒網(wǎng)經(jīng)授權(quán)發(fā)布。

這幾天的時(shí)間里看了一下關(guān)于分類算法的一些知識(shí),趁熱打鐵寫下博客來拯救下記憶力不好的自己,話不讀多說,馬上開始!

先說一下前提的題設(shè)條件.假設(shè)我們現(xiàn)在有了一封郵件,那么我們應(yīng)該怎么根據(jù)這個(gè)郵件里的一些關(guān)鍵的詞語來給這個(gè)郵件進(jìn)行分類呢?

首先我們先想可以用貝葉斯公式來進(jìn)行處理:

c是一個(gè)詳細(xì)的類別,比如”朋友的郵件”,”工作郵件”等等,而d就是一些關(guān)鍵的詞語(注意:關(guān)鍵詞可能會(huì)有多個(gè)),上邊等式的左邊是指:在給出當(dāng)前的關(guān)鍵詞的條件下,類型為C的概率,更多的情況就不詳細(xì)說了,有興趣的可以翻一下數(shù)理統(tǒng)計(jì)書。

接下來利用相關(guān)的統(tǒng)計(jì)學(xué)的知識(shí)對(duì)郵件進(jìn)行處理(水平太菜了,就一切簡(jiǎn)化著來)

上面的這個(gè) NB 的公式,就是最簡(jiǎn)化的參數(shù)公式了，下面給出相關(guān)參數(shù)的計(jì)算方法:

但是上邊的第二個(gè)公式有以下缺點(diǎn):

What if we have seen no training documents with the word “fantastic”  and classified in the topic positive(thumbs-up)?

為了避免這一種情況,我們特地的給加上一些數(shù)

所以上述的這個(gè)問題就解決了。

現(xiàn)在我們舉一個(gè)例子吧,這樣可以加深理解

這個(gè)部分我也在繼續(xù)學(xué)習(xí)，會(huì)將陸續(xù)更新！

以下是實(shí)踐部分：

現(xiàn)在用實(shí)際的代碼來實(shí)現(xiàn)這個(gè)分類的問題吧.在這里我們會(huì)使用TensorFlow來解決分類的問題,以前的時(shí)候我寫過關(guān)于線性回歸的問題.相信看過的小伙伴可能在這里就會(huì)想這個(gè)回歸的問題.那么這個(gè)回歸和分類有什么區(qū)別可以值得說道說道.分類和回歸的區(qū)別在我看來是在于輸出變量的類型上.通俗理解上定量輸出是回歸,或者是連續(xù)變量的預(yù)測(cè).定性的輸出是一個(gè)分類,或者說是離散變量的預(yù)測(cè),比如說是預(yù)測(cè)我們北京的放假會(huì)是一個(gè)回歸的任務(wù),但是把一堆水果分為蘋果,桃,梨子這些區(qū)別,這其實(shí)就是一個(gè)分類的任務(wù).

在這個(gè)例子中我們會(huì)使用的是MINIST數(shù)據(jù)庫(kù),MINIST是一個(gè)手寫字體的數(shù)字庫(kù),長(zhǎng)得大概是下邊這個(gè)樣子

現(xiàn)在我們導(dǎo)入MNIST數(shù)字庫(kù)：

這個(gè)數(shù)據(jù)中大概是包含了55000張訓(xùn)練的圖片,每個(gè)圖片的分辨率大概是28*28,所以我們訓(xùn)練網(wǎng)絡(luò)的輸入實(shí)際上是一個(gè)784個(gè)的像素?cái)?shù)據(jù)。

每張圖片都表示一個(gè)數(shù)字，所以我們的輸出是數(shù)字0到9，共10類。

prediction = add_layer(xs,784,10,activation_function=tf.nn.softmax)

調(diào)用add_layer函數(shù)構(gòu)建一個(gè)只有輸入輸出層的簡(jiǎn)單的訓(xùn)練神經(jīng)網(wǎng)絡(luò),其中輸入的數(shù)據(jù)是784個(gè)特征,輸出的是10個(gè)特征,激勵(lì)的是使用softmax函數(shù),大致結(jié)構(gòu)類似這樣:

loss函數(shù)（即最優(yōu)化目標(biāo)函數(shù)）選用交叉熵函數(shù)。交叉熵用來衡量預(yù)測(cè)值和真實(shí)值的相似程度，如果完全相同，它們的交叉熵等于零。

train方法這里使用的是梯度下降法:

現(xiàn)在開始train，每次只取100張圖片，免得數(shù)據(jù)太多訓(xùn)練太慢。每訓(xùn)練50次輸出一下預(yù)測(cè)精度

在經(jīng)過10000次計(jì)算后我們得到結(jié)果：

雷鋒網(wǎng)相關(guān)閱讀：

監(jiān)督學(xué)習(xí)最常見的五種算法，你知道幾個(gè)？

9800萬美元賣掉公司后，他用貝葉斯網(wǎng)絡(luò)分析數(shù)據(jù)中的因與果

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。