訂閱
糾錯(cuò)
加入自媒體

人工智能之卷積神經(jīng)網(wǎng)絡(luò)(CNN)

前言:人工智能機(jī)器學(xué)習(xí)有關(guān)算法內(nèi)容,請(qǐng)參見(jiàn)公眾號(hào)“科技優(yōu)化生活”之前相關(guān)文章。人工智能之機(jī)器學(xué)習(xí)主要有三大類:1)分類;2)回歸;3)聚類。今天我們重點(diǎn)探討一下卷積神經(jīng)網(wǎng)絡(luò)(CNN)算法。

20世紀(jì)60年代,Hubel和Wiesel在研究貓腦皮層中用于局部敏感和方向選擇的神經(jīng)元時(shí)發(fā)現(xiàn)其獨(dú)特的網(wǎng)絡(luò)結(jié)構(gòu)可以有效地降低反饋神經(jīng)網(wǎng)絡(luò)的復(fù)雜性,繼而提出了卷積神經(jīng)網(wǎng)絡(luò)CNN(Convolutional Neural Networks)。

1980年,K.Fukushima提出的新識(shí)別機(jī)是卷積神經(jīng)網(wǎng)絡(luò)的第一個(gè)實(shí)現(xiàn)網(wǎng)絡(luò)。隨后,更多的科研工作者對(duì)該網(wǎng)絡(luò)進(jìn)行了改進(jìn)。其中,具有代表性的研究成果是Alexander和Taylor提出的“改進(jìn)認(rèn)知機(jī)”,該方法綜合了各種改進(jìn)方法的優(yōu)點(diǎn)并避免了耗時(shí)的誤差反向傳播。

現(xiàn)在,CNN已經(jīng)成為眾多科學(xué)領(lǐng)域的研究熱點(diǎn)之一,特別是在模式分類領(lǐng)域,由于該網(wǎng)絡(luò)避免了對(duì)圖像的復(fù)雜前期預(yù)處理,可以直接輸入原始圖像,因而得到了更為廣泛的應(yīng)用。

blob.png

CNN概念:

在機(jī)器學(xué)習(xí)中,卷積神經(jīng)網(wǎng)絡(luò)CNN(Convolutional Neural Network)是一種前饋神經(jīng)網(wǎng)絡(luò),它的人工神經(jīng)元可以響應(yīng)一部分覆蓋范圍內(nèi)的周圍單元,可以應(yīng)用于語(yǔ)音識(shí)別、圖像處理和圖像識(shí)別等領(lǐng)域。

CNN引入意義:

全連接神經(jīng)網(wǎng)絡(luò)中(下面左圖),每相鄰兩層之間的每個(gè)神經(jīng)元之間都是有邊相連的。當(dāng)輸入層的特征維度變得很高時(shí),這時(shí)全連接網(wǎng)絡(luò)需要訓(xùn)練的參數(shù)就會(huì)增大很多,計(jì)算速度就會(huì)變得很慢。

而在卷積神經(jīng)網(wǎng)絡(luò)CNN中(下面右圖),卷積層的神經(jīng)元只與前一層的部分神經(jīng)元節(jié)點(diǎn)相連,即它的神經(jīng)元間的連接是非全連接的,且同一層中某些神經(jīng)元之間的連接的權(quán)重w和偏移b是共享的,這樣大量地減少了需要訓(xùn)練參數(shù)的數(shù)量。

blob.png

CNN核心思想:

CNN模型限制參數(shù)了個(gè)數(shù)并挖掘了局部結(jié)構(gòu)。主要用來(lái)識(shí)別位移、縮放及其他形式扭曲不變性的二維圖形。局部感受視野,權(quán)值共享以及時(shí)間或空間亞采樣這三種思想結(jié)合起來(lái),獲得了某種程度的位移、尺度、形變不變性。通過(guò)“卷積核”作為中介。同一個(gè)卷積核在所有圖像內(nèi)是共享的,圖像通過(guò)卷積操作后仍然保留原先的位置關(guān)系。

blob.png

CNN實(shí)質(zhì):

CNN在本質(zhì)上是一種輸入到輸出的映射,它能夠學(xué)習(xí)大量的輸入與輸出之間的映射關(guān)系,而不需要任何輸入和輸出之間的精確的數(shù)學(xué)表達(dá)式,只要用已知的模式對(duì)卷積網(wǎng)絡(luò)加以訓(xùn)練,網(wǎng)絡(luò)就具有輸入輸出對(duì)之間的映射能力。卷積網(wǎng)絡(luò)執(zhí)行的是有導(dǎo)師訓(xùn)練,所以其樣本集是由形如:(輸入向量,理想輸出向量)的向量對(duì)構(gòu)成的。所有這些向量對(duì),都應(yīng)該是來(lái)源于網(wǎng)絡(luò)即將模擬的系統(tǒng)的實(shí)際“運(yùn)行”結(jié)果。它們可以是從實(shí)際運(yùn)行系統(tǒng)中采集來(lái)的。在開(kāi)始訓(xùn)練前,所有的權(quán)都應(yīng)該用一些不同的小隨機(jī)數(shù)進(jìn)行初始化!靶‰S機(jī)數(shù)”用來(lái)保證網(wǎng)絡(luò)不會(huì)因權(quán)值過(guò)大而進(jìn)入飽和狀態(tài)而導(dǎo)致訓(xùn)練失敗;“不同”用來(lái)保證網(wǎng)絡(luò)可以正常地學(xué)習(xí)。

CNN基本結(jié)構(gòu):

卷積神經(jīng)網(wǎng)絡(luò)CNN的結(jié)構(gòu)一般包含下面幾層:

blob.png

1)  輸入層:用于數(shù)據(jù)的輸入。

2)  卷積層:卷積層是卷積核在上一級(jí)輸入層上通過(guò)逐一滑動(dòng)窗口計(jì)算而得,卷積核中的每一個(gè)參數(shù)都相當(dāng)于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中的權(quán)值參數(shù),與對(duì)應(yīng)的局部像素相連接,將卷積核的各個(gè)參數(shù)與對(duì)應(yīng)的局部像素值相乘之和,得到卷積層上的結(jié)果。一般地,使用卷積核進(jìn)行特征提取和特征映射。

blob.png

l   特征提取:每個(gè)神經(jīng)元的輸入與前一層的局部接受域相連,并提取該局部的特征。一旦該局部特征被提取后,它與其它特征間的位置關(guān)系也隨之確定下來(lái);

l   特征映射:網(wǎng)絡(luò)的每個(gè)計(jì)算層由多個(gè)特征映射組成,每個(gè)特征映射是一個(gè)平面,平面上所有神經(jīng)元的權(quán)值相等。特征映射結(jié)構(gòu)采用影響函數(shù)核小的sigmoid函數(shù)作為卷積網(wǎng)絡(luò)的激活函數(shù),使得特征映射具有位移不變性。此外,由于一個(gè)映射面上的神經(jīng)元共享權(quán)值,因而減少了網(wǎng)絡(luò)自由參數(shù)的個(gè)數(shù)。

卷積神經(jīng)網(wǎng)絡(luò)中的每一個(gè)卷積層都緊跟著一個(gè)用來(lái)求局部平均與二次提取的計(jì)算層,這種特有的兩次特征提取結(jié)構(gòu)減小了特征分辨率。

3)  激勵(lì)層:由于卷積也是一種線性運(yùn)算,因此需要增加非線性映射。使用的激勵(lì)函數(shù)一般為ReLu函數(shù):f(x)=max(x,0)。

blob.png

4)  池化層:進(jìn)行下采樣,對(duì)特征圖稀疏處理,減少數(shù)據(jù)運(yùn)算量。通過(guò)卷積層獲得了圖像的特征之后,理論上可以直接使用這些特征訓(xùn)練分類器(如softmax),但這樣做將面臨巨大的計(jì)算量挑戰(zhàn),且容易產(chǎn)生過(guò)擬合現(xiàn)象。為了進(jìn)一步降低網(wǎng)絡(luò)訓(xùn)練參數(shù)及模型的過(guò)擬合程度,需要對(duì)卷積層進(jìn)行池化/采樣(Pooling)處理。池化/采樣的方式通常有以下兩種:a)Max-Pooling: 選擇Pooling窗口中的最大值作為采樣值;b)Mean-Pooling: 將Pooling窗口中的所有值相加取平均,以平均值作為采樣值。

blob.png

5)  全連接層:CNN尾部進(jìn)行重新擬合,減少特征信息的損失。

blob.png

6)  輸出層:用于最后輸出結(jié)果。

1  2  下一頁(yè)>  
聲明: 本文由入駐維科號(hào)的作者撰寫(xiě),觀點(diǎn)僅代表作者本人,不代表OFweek立場(chǎng)。如有侵權(quán)或其他問(wèn)題,請(qǐng)聯(lián)系舉報(bào)。

發(fā)表評(píng)論

0條評(píng)論,0人參與

請(qǐng)輸入評(píng)論內(nèi)容...

請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字

您提交的評(píng)論過(guò)于頻繁,請(qǐng)輸入驗(yàn)證碼繼續(xù)

  • 看不清,點(diǎn)擊換一張  刷新

暫無(wú)評(píng)論

暫無(wú)評(píng)論

人工智能 獵頭職位 更多
掃碼關(guān)注公眾號(hào)
OFweek人工智能網(wǎng)
獲取更多精彩內(nèi)容
文章糾錯(cuò)
x
*文字標(biāo)題:
*糾錯(cuò)內(nèi)容:
聯(lián)系郵箱:
*驗(yàn) 證 碼:

粵公網(wǎng)安備 44030502002758號(hào)