雷鋒網(wǎng)按：本文作者陶言祺，原文載于作者個(gè)人博客，雷鋒網(wǎng)已獲授權(quán)。

聲明：本文是根據(jù)英文教程 A Neural Network in 11 lines of Python（用 11 行 Python 代碼實(shí)現(xiàn)的神經(jīng)網(wǎng)絡(luò)）學(xué)習(xí)總結(jié)而來(lái)，關(guān)于更詳細(xì)的神經(jīng)網(wǎng)絡(luò)的介紹可以參考我的另一篇博客：從感知機(jī)到人工神經(jīng)網(wǎng)絡(luò)。

如果你讀懂了下面的文章，你會(huì)對(duì)神經(jīng)網(wǎng)絡(luò)有更深刻的認(rèn)識(shí)，有任何問(wèn)題，請(qǐng)多指教。

  Very simple Neural Network

首先確定我們要實(shí)現(xiàn)的任務(wù)：

輸出的為樣本為 X 為 4*3，有 4 個(gè)樣本 3 個(gè)屬性，每一個(gè)樣本對(duì)于這一個(gè)真實(shí)值 y，為 4*1 的向量，我們要根據(jù) input 的值輸出與 y 值損失最小的輸出。

  Two Layer Neural Network

首先考慮最簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)，如下圖所示：

輸入層有3個(gè)神經(jīng)元(因?yàn)橛?個(gè)屬性),輸出為一個(gè)值，w1,w2,w3為其權(quán)重。輸出為: 

這里的f為sigmoid函數(shù)： 

一個(gè)重要的公式： 

神經(jīng)網(wǎng)絡(luò)的優(yōu)化過(guò)程是：

1. 前向傳播求損失 
2. 反向傳播更新w

簡(jiǎn)單是實(shí)現(xiàn)過(guò)程如下所示：

import numpy as np

# sigmoid function

# deriv=ture 是求的是導(dǎo)數(shù)

def nonlin(x,deriv=False):

    if(deriv==True):

        return x*(1-x)

    return 1/(1+np.exp(-x))

# input dataset

X = np.array([  [0,0,1],

                [1,1,1],

                [1,0,1],

                [0,1,1] ])

# output dataset            

y = np.array([[0,1,1,0]]).T

# seed random numbers to make calculation

np.random.seed(1)

# initialize weights randomly with mean 0

syn0 = 2*np.random.random((3,1)) - 1

# 迭代次數(shù)

for iter in xrange(10000):

    # forward propagation

    # l0也就是輸入層

    l0 = X

    l1 = nonlin(np.dot(l0,syn0))

    # how much did we miss?

    l1_error = y - l1

    # multiply how much we missed by the 

    # slope of the sigmoid at the values in l1

    l1_delta = l1_error * nonlin(l1,True)

    # update weights

    syn0 += np.dot(l0.T,l1_delta)

print "Output After Training:"

print l1

注意這里整體計(jì)算了損失，X(4*3) dot w(3*1) = 4*1 為輸出的 4 個(gè)值，所以 
l1_error = y - l1 同樣為一個(gè) 4*1 的向量。

重點(diǎn)理解：

   # slope of the sigmoid at the values in l1

   #nonlin(l1,True),這里是對(duì)sigmoid求導(dǎo)

   #前向計(jì)算，反向求導(dǎo)

   l1_delta = l1_error * nonlin(l1,True)  

  # update weights

   syn0 += np.dot(l0.T,l1_delta)

下面看一個(gè)單獨(dú)的訓(xùn)練樣本的情況，真實(shí)值y==1,訓(xùn)練出來(lái)的為0.99已經(jīng)非常的接近于正確的值了，因此這時(shí)應(yīng)非常小的改動(dòng)syn0的值，因此：

運(yùn)行輸出結(jié)果為，可以看到其訓(xùn)練的不錯(cuò)：

Output After Training:
Output After Training:[[ 0.00966449]
[ 0.99211957]
[ 0.99358898]
[ 0.00786506]]123456123456

  Three Layer Neural Network

我們知道，兩層的神經(jīng)網(wǎng)絡(luò)即為一個(gè)小的感知機(jī)（參考：感知機(jī)到人工神經(jīng)網(wǎng)絡(luò)），它只能出來(lái)線性可分的數(shù)據(jù)，如果線性不可分，則其出來(lái)的效果較差，如下圖所示的數(shù)據(jù)：

 

如果仍用上述的代碼(2層的神經(jīng)網(wǎng)絡(luò))則其結(jié)果為：

Output After Training:[[ 0.5]
[ 0.5]
[ 0.5]
[ 0.5]]1234512345

因?yàn)閿?shù)據(jù)并不是線性可分的，因此它是一個(gè)非線性的問(wèn)題，神經(jīng)網(wǎng)絡(luò)的強(qiáng)大之處就是其可以搭建更多的層來(lái)對(duì)非線性的問(wèn)題進(jìn)行處理。

下面我將搭建一個(gè)含有5個(gè)神經(jīng)元的隱含層，其圖形如下，（自己畫(huà)的，略丑），這來(lái)要說(shuō)下神經(jīng)網(wǎng)絡(luò)其實(shí)很簡(jiǎn)單，只要你把層次的結(jié)果想清楚。

要搞清楚w的維度：第一層到第二層的w為3*5，第二層到第三層的W為5*1，因此還是同樣的兩個(gè)步驟，前向計(jì)算誤差，然后反向求導(dǎo)更新w。 

完整的代碼如下：

import numpy as np

def nonlin(x,deriv=False):

    if(deriv==True):

        return x*(1-x)

    return 1/(1+np.exp(-x))

X = np.array([[0,0,1],

            [0,1,1],

            [1,0,1],

            [1,1,1]])

y = np.array([[0],

            [1],

            [1],

            [0]])

np.random.seed(1)

# randomly initialize our weights with mean 0

syn0 = 2*np.random.random((3,5)) - 1

syn1 = 2*np.random.random((5,1)) - 1

for j in xrange(60000):

    # Feed forward through layers 0, 1, and 2

    l0 = X

    l1 = nonlin(np.dot(l0,syn0))

    l2 = nonlin(np.dot(l1,syn1))

    # how much did we miss the target value?

    l2_error = y - l2

    if (j% 10000) == 0:

        print "Error:" + str(np.mean(np.abs(l2_error)))

    # in what direction is the target value?

    # were we really sure? if so, don't change too much.

    l2_delta = l2_error*nonlin(l2,deriv=True)

    # how much did each l1 value contribute to the l2 error (according to the weights)?

    l1_error = l2_delta.dot(syn1.T)

    # in what direction is the target l1?

    # were we really sure? if so, don't change too much.

    l1_delta = l1_error * nonlin(l1,deriv=True)

    syn1 += l1.T.dot(l2_delta)

    syn0 += l0.T.dot(l1_delta)

print l2

運(yùn)行的結(jié)果為：

Error:0.500628229093

Error:0.00899024507125

Error:0.0060486255435

Error:0.00482794013965

Error:0.00412270116481

Error:0.00365084766242

# 這一部分是最后的輸出結(jié)果

[[ 0.00225305]
[ 0.99723356]
[ 0.99635205]
[ 0.00456238]]

如果上面的代碼看懂了，那么你就可以自己搭建自己的神經(jīng)網(wǎng)絡(luò)了，無(wú)論他是多少層，或者每個(gè)層有多少個(gè)神經(jīng)元，都能很輕松的完成。當(dāng)然上面搭建的神經(jīng)網(wǎng)絡(luò)只是一個(gè)很簡(jiǎn)單的網(wǎng)絡(luò)，同樣還有許多的細(xì)節(jié)需要學(xué)習(xí)，比如說(shuō)反向傳回來(lái)的誤差我們可以用隨機(jī)梯度下降的方法去更新W，同時(shí)還可以加上偏置項(xiàng)b，還有學(xué)習(xí)率 α 等問(wèn)題。

雷鋒網(wǎng)相關(guān)文章：

不到 200 行代碼，教你如何用 Keras 搭建生成對(duì)抗網(wǎng)絡(luò)（GAN）

如何在 i5 上實(shí)現(xiàn) 20 倍的 Python 運(yùn)行速度？

詳解 Kaggle 房?jī)r(jià)預(yù)測(cè)競(jìng)賽優(yōu)勝方案：用 Python 進(jìn)行全面數(shù)據(jù)探索

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。