人工神經網絡( , ANN)是一種古老的算法，它最初產生的原因是人們想制造能夠模擬大腦的機器。
大腦可以學會去看而不是聽的方式處理圖像，大腦知道如何處理我們的觸覺。我們能學習數學，學著做微積分，大腦能夠處理各種不同的令人驚奇的事情。但是傳統的做法，如果想要模仿它，人們必須得寫很多不同的軟件來模擬這些五花八門的奇妙的事情。
能不能假設：模擬大腦做這些事情的方法，不需要用成千上萬個不同的程序去實現，而是只要一個單一的學習算法就可以？人工神經網絡就是基于模仿生物大腦的結構和功能而構成的一種信息處理系統。
ANN興起于二十世紀八九十年代，應用得非常廣泛。但由于各種原因，在90年代的后期應用減少了。但是最近，神經網絡又東山再起。其中一個重要的原因是：神經網絡是計算量偏大的算法。近些年計算機的運行速度變快，能夠真正運行起大規模的神經網絡。
從本文開始，將介紹人工神經網絡的重要算法，包括傳統的BP神經網絡( , BPNN)、卷積神經網絡( , CNN)，循環神經網絡( , RNN)，長短記憶網絡(Long Short Term , LSTM)
本文介紹一種經典的神經網絡：BP神經網絡。前三篇文章詳細描述了邏輯回歸模型的原理及算法[1][2][3]bp神經網絡原理及其在字符 1 識別中的應用，作為平滑過度bp神經網絡原理及其在字符 1 識別中的應用，本文從邏輯回歸模型為起始點，一步步推演到BP神經網絡。
一、邏輯回歸模型的結構
邏輯回歸模型如圖1所示，圓圈代表激活單元，該單元左邊是輸入特征x，箭頭上有系數，即權重w和偏置b，右邊是預測值
。激活單元做了2步工作（見圖2）：第一步線性求和z=wTx+b；第二步由激活函數求得預測值
。在邏輯回歸模型中，激活函數g(z)為函數
。
圖1 邏輯回歸模型
圖2 激活單元
二、二層神經網絡
神經網絡可以看成是由許多個激活函數單元疊加而成，最簡單的神經網絡是一個二層神經網絡，如圖3所示。
圖3 二層神經網絡
在這個網絡結構中，一共有2層：1個隱藏層，1個輸出層。其中第一層為隱藏層，有3個激活單元。第二層為輸出層，有1個激活單元。
第一層隱藏層的輸入是特征向量x，隱藏層的輸出用
表示，其中符號
標識第1層。輸出
如公式(1)所示。
第二層輸出層，負責產生預測值
。第一層的輸出
是第二層的輸入，第二層的輸出
即預測值，如公式（2）所示。
【注】：輸入特征x被豎直的堆疊起來，這是神經網絡的輸入層。我們在計算網絡的層數時，輸入層是不算入總層數內的，因此圖3是一個二層神經網絡。按照慣例將輸入層稱為第零層。
三、神經網絡與邏輯回歸的關聯
將圖3所示的二層神經網絡左半部遮住，結果如圖4所示。該神經網絡的右半部其實是以
按照邏輯回歸的方式輸出。
圖4 神經網絡與邏輯回歸模型的關系
從神經網絡的輸出層來看，其本質與邏輯回歸無二，只不過是將邏輯回歸模型中的輸入向量x = [x0，x1，x2，x3]變成神經網絡隱藏層的輸出
。我們可以把
看成是更高級的特征值，即x的進化體，并且是由x決定的。在后續文章中我們會解釋，由于梯度下降，這些更高級的特征
是變化的，并且會變得越來越厲害，所以這些更高級的特征值遠比僅僅將x幾次方更厲害，也能更好的預測數據。
四、激活單元與生物神經元
圖3所示的人工神經網絡的基本單元是激活單元，神經網絡是由多個激活單元連接而成。每個激活單元的輸入要么是輸入特征x，要么是前一層激活單元的輸出
。而激活單元的輸出又會成為下一層激活單元的輸入。
圖5 ANN的激活單元與大腦中的神經元
大腦中的神經網絡是由大量的生物神經元[4]相互連接形成的一個網絡。每一個神經元都可以被認為是一個處理單元/神經核（/），它含有許多輸入/樹突（input/），并且有一個輸出/軸突（/Axon）。這個生物神經元本質是大腦中的一個細胞，它能接受來自其他神經元的電信號，比如
，或可能來自于其他神經元的
。其中有一個簡單的臨界計算值，如果這個神經元突然激發了，它會讓電脈沖沿著這條長長的軸突，或者說一條導線傳到另一個神經元。這就是人類思考的模型：我們的神經元把自己的收到的消息進行計算，并向其他神經元傳遞消息。
從圖5似乎能得出結論，人工神經網絡中用激活單元來模擬大腦中的生物神經元。這確實是人工神經網絡這門學科最初受到的啟發。
實際上，用激活單元來模擬大腦神經元，是一個過度簡化的數學建模。因為迄今為止即使神經科學家們也很難解釋，一個神經元究竟能做什么。生物神經元是極其復雜的，我們無法從神經科學的角度描述清楚它的功能究竟是怎樣的。可能真的是類似邏輯回歸的運算，但是單個神經元到底在做什么，目前還沒有人能夠真正解釋清楚，大腦中的神經元是怎么學習的，至今仍是一個謎。
至此，BP神經網絡的結構已經介紹完畢，實際上BP網絡可以有多個隱藏層，后續文章將對BP網絡層數進行擴展。
【預告】下一篇文章將介紹“BP神經網絡的數學模型及算法原理”，這篇文章將是整個BP神經網絡系列文章的核心。
五、參考文獻
1、 雪梨姐
2、 雪梨姐
3、 雪梨姐
4、吳恩達《深度學習》
對作者所寫文章有興趣，可繼續關注公眾號：點金要術()，或掃描下面的二維碼。也歡迎讀者朋友在互聯網上分享你認為有幫助的文章。