通過上一篇文章《人工智能之深度學(xué)習(xí)》，我們清楚地知道深度學(xué)習(xí)（DL）的概念源于人工神經(jīng)網(wǎng)絡(luò)ANN（Artificial Neural Network）。人工神經(jīng)網(wǎng)絡(luò)ANN是20世紀(jì)80 年代以來人工智能領(lǐng)域興起的研究熱點(diǎn)。人工神經(jīng)網(wǎng)絡(luò)ANN簡稱為神經(jīng)網(wǎng)絡(luò)或類神經(jīng)網(wǎng)絡(luò)。深度學(xué)習(xí)實際上是深度神經(jīng)網(wǎng)絡(luò)DNN，即深度學(xué)習(xí)從人工神經(jīng)網(wǎng)絡(luò)ANN模型發(fā)展起來的，因此有必要對人工神經(jīng)網(wǎng)絡(luò)ANN作進(jìn)一步探討。＾＿＾

最近十幾年來，人工神經(jīng)網(wǎng)絡(luò)ANN的研究工作不斷深入，已經(jīng)取得了很大進(jìn)展，其在模式識別、智能機(jī)器人、自動控制、預(yù)測估計、生物、醫(yī)學(xué)、經(jīng)濟(jì)等領(lǐng)域已成功地解決了許多現(xiàn)代計算機(jī)難以解決的實際問題，表現(xiàn)出了良好的智能特性。

那么究竟什么是人工神經(jīng)網(wǎng)絡(luò)ANN呢？

人工神經(jīng)網(wǎng)絡(luò)ANN從信息處理角度對人腦神經(jīng)元網(wǎng)絡(luò)進(jìn)行抽象，建立某種簡單模型，按不同的連接方式組成不同的網(wǎng)絡(luò)。人工神經(jīng)網(wǎng)絡(luò)ANN是一種運(yùn)算模型，由大量的節(jié)點(diǎn)（或稱神經(jīng)元）之間相互聯(lián)接構(gòu)成。每個節(jié)點(diǎn)（神經(jīng)元）代表一種特定的輸出函數(shù)，稱為激勵函數(shù)（activation function）。每兩個節(jié)點(diǎn)間的連接都代表一個對于通過該連接信號的加權(quán)值，稱之為權(quán)重，這相當(dāng)于人工神經(jīng)網(wǎng)絡(luò)的記憶。網(wǎng)絡(luò)的輸出則依網(wǎng)絡(luò)的連接方式，權(quán)重值和激勵函數(shù)的不同而不同。而網(wǎng)絡(luò)自身通常都是對自然界某種算法或者函數(shù)的逼近，也可能是對一種邏輯策略的表達(dá)。

人工神經(jīng)網(wǎng)絡(luò)ANN的發(fā)展歷程：

1）  人工神經(jīng)網(wǎng)絡(luò)ANN的概念由W．S．McCulloch和W．Pitts等人于1943年提出。他們通過MP模型提出了神經(jīng)元的形式化數(shù)學(xué)描述和網(wǎng)絡(luò)結(jié)構(gòu)方法。

2）  1960s年，人工神經(jīng)網(wǎng)絡(luò)得到了進(jìn)一步發(fā)展，更完善的神經(jīng)網(wǎng)絡(luò)模型被提出，其中包括感知器和自適應(yīng)線性元件等。1982年， J．J．Hopfield提出了Hopfield神經(jīng)網(wǎng)格模型，引入“計算能量”概念，給出了網(wǎng)絡(luò)穩(wěn)定性判斷。 1984年，他又提出了連續(xù)時間Hopfield神經(jīng)網(wǎng)絡(luò)模型，開創(chuàng)了神經(jīng)網(wǎng)絡(luò)用于聯(lián)想記憶和優(yōu)化計算的新途徑。這項開拓性的研究工作有力地推動了神經(jīng)網(wǎng)絡(luò)的研究。

3）  1985年，有學(xué)者提出了波耳茲曼模型，在學(xué)習(xí)中采用統(tǒng)計熱力學(xué)模擬退火技術(shù)，保證整個系統(tǒng)趨于全局穩(wěn)定點(diǎn)。

4）  1986年進(jìn)行認(rèn)知微觀結(jié)構(gòu)地研究，提出了并行分布處理的理論。

5）  1986年，Rumelhart， Hinton， Williams發(fā)展了BP算法。迄今，BP算法已被用于解決大量實際問題。

6）  1988年，Linsker對感知機(jī)網(wǎng)絡(luò)提出了新的自組織理論，并在Shanon信息論的基礎(chǔ)上形成了最大互信息理論，從而點(diǎn)燃了基于NN的信息應(yīng)用理論的光芒。

7）  1988年，Broomhead和Lowe用徑向基函數(shù)（Radial basis function， RBF）提出分層網(wǎng)絡(luò)的設(shè)計方法，從而將NN的設(shè)計與數(shù)值分析和線性適應(yīng)濾波相掛鉤。

8）  90年代初，Vapnik等提出了支持向量機(jī)（Support vector machines， SVM）和VC（Vapnik－Chervonenkis）維數(shù)的概念。

9）  美國國會通過決議將1990年1月5日開始的十年定為“腦的十年”，國際研究組織號召它的成員國將“腦的十年”變?yōu)槿�球行為。在日本的“真實世界計算（RWC）”項目中，人工智能的研究成了一個重要的組成部分。人工神經(jīng)網(wǎng)絡(luò)的研究從此受到了各個發(fā)達(dá)國家的重視。

人工神經(jīng)網(wǎng)絡(luò)特征：

人工神經(jīng)網(wǎng)絡(luò)是由大量處理單元互聯(lián)組成的非線性、自適應(yīng)信息處理系統(tǒng)。它是在現(xiàn)代神經(jīng)科學(xué)研究成果的基礎(chǔ)上提出的，試圖通過模擬大腦神經(jīng)網(wǎng)絡(luò)處理、記憶信息的方式進(jìn)行信息處理。人工神經(jīng)網(wǎng)絡(luò)具有四個基本特征：

（1）非線性：人工神經(jīng)元處于激活或抑制二種不同的狀態(tài)，這種行為在數(shù)學(xué)上表現(xiàn)為一種非線性關(guān)系。具有閾值的神經(jīng)元構(gòu)成的網(wǎng)絡(luò)具有更好的性能，可以提高容錯性和存儲容量。

（2）非局限性：一個神經(jīng)網(wǎng)絡(luò)通常由多個神經(jīng)元廣泛連接而成。一個系統(tǒng)的整體行為不僅取決于單個神經(jīng)元的特征，而且可能主要由單元之間的相互作用、相互連接所決定。通過單元之間的大量連接模擬大腦的非局限性。

（3）非常定性：人工神經(jīng)網(wǎng)絡(luò)具有自適應(yīng)、自組織、自學(xué)習(xí)能力。神經(jīng)網(wǎng)絡(luò)不但處理的信息可以有各種變化，而且在處理信息的同時，非線性動力系統(tǒng)本身也在不斷變化。采用迭代過程描寫動力系統(tǒng)的演化過程。

（4）非凸性：一個系統(tǒng)的演化方向，在一定條件下將取決于某個特定的狀態(tài)函數(shù)。非凸性是指這種函數(shù)有多個極值，故系統(tǒng)具有多個較穩(wěn)定的平衡態(tài)，這將導(dǎo)致系統(tǒng)演化的多樣性。