訂閱
糾錯(cuò)
加入自媒體

CVPR 2020:IR-Net,信息保留的二值神經(jīng)網(wǎng)絡(luò)

在CVPR 2020上,商湯研究院鏈接與編譯組和北京航空航天大學(xué)劉祥龍老師團(tuán)隊(duì)提出了一種旨在優(yōu)化前后向傳播中信息流的實(shí)用、高效的網(wǎng)絡(luò)二值化新算法IR-Net。不同于以往二值神經(jīng)網(wǎng)絡(luò)大多關(guān)注量化誤差方面,本文首次從統(tǒng)一信息的角度研究了二值網(wǎng)絡(luò)的前向和后向傳播過(guò)程,為網(wǎng)絡(luò)二值化機(jī)制的研究提供了全新的視角。同時(shí),該工作首次在ARM設(shè)備上進(jìn)行了先進(jìn)二值化算法效率驗(yàn)證,顯示了IR-Net部署時(shí)的優(yōu)異性能和極高的實(shí)用性,有助于解決工業(yè)界關(guān)注的神經(jīng)網(wǎng)絡(luò)二值化落地的核心問(wèn)題。

動(dòng) 機(jī)

二值神經(jīng)網(wǎng)絡(luò)因其存儲(chǔ)量小、推理效率高而受到社會(huì)的廣泛關(guān)注 [1]。然而與全精度的對(duì)應(yīng)方法相比,現(xiàn)有的量化方法的精度仍然存在顯著的下降。

對(duì)神經(jīng)網(wǎng)絡(luò)的研究表明,網(wǎng)絡(luò)的多樣性是模型達(dá)到高性能的關(guān)鍵[2],保持這種多樣性的關(guān)鍵是:(1) 網(wǎng)絡(luò)在前向傳播過(guò)程中能夠攜帶足夠的信息;(2) 反向傳播過(guò)程中,精確的梯度為網(wǎng)絡(luò)優(yōu)化提供了正確的信息。二值神經(jīng)網(wǎng)絡(luò)的性能下降主要是由二值化的有限表示能力和離散性造成的,這導(dǎo)致了前向和反向傳播的嚴(yán)重信息損失,模型的多樣性急劇下降。同時(shí),在二值神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程中,離散二值化往往導(dǎo)致梯度不準(zhǔn)確和優(yōu)化方向錯(cuò)誤。如何解決以上問(wèn)題,得到更高精度的二值神經(jīng)網(wǎng)絡(luò)?這一問(wèn)題被研究者們廣泛關(guān)注,本文的動(dòng)機(jī)在于:通過(guò)信息保留的思路,設(shè)計(jì)更高性能的二值神經(jīng)網(wǎng)絡(luò)。

基于以上動(dòng)機(jī),本文首次從信息流的角度研究了網(wǎng)絡(luò)二值化,提出了一種新的信息保持網(wǎng)絡(luò)(IR-Net):(1)在前向傳播中引入了一種稱(chēng)為L(zhǎng)ibra參數(shù)二值化(Libra-PB)的平衡標(biāo)準(zhǔn)化量化方法,最大化量化參數(shù)的信息熵和最小化量化誤差;(2) 在反向傳播中采用誤差衰減估計(jì)器(EDE)來(lái)計(jì)算梯度,保證訓(xùn)練開(kāi)始時(shí)的充分更新和訓(xùn)練結(jié)束時(shí)的精確梯度。

IR-Net提供了一個(gè)全新的角度來(lái)理解二值神經(jīng)網(wǎng)絡(luò)是如何運(yùn)行的,并且具有很好的通用性,可以在標(biāo)準(zhǔn)的網(wǎng)絡(luò)訓(xùn)練流程中進(jìn)行優(yōu)化。作者使用CIFAR-10和ImageNet數(shù)據(jù)集上的圖像分類(lèi)任務(wù)來(lái)評(píng)估提出的IR-Net,同時(shí)借助開(kāi)源二值化推理庫(kù)daBNN進(jìn)行了部署效率驗(yàn)證。

方法設(shè)計(jì)

高精度二值神經(jīng)網(wǎng)絡(luò)訓(xùn)練的瓶頸主要在于訓(xùn)練過(guò)程中嚴(yán)重的信息損失。前向sign函數(shù)和后向梯度逼近所造成的信息損失嚴(yán)重影響了二值神經(jīng)網(wǎng)絡(luò)的精度。為了解決以上問(wèn)題,本文提出了一種新的信息保持網(wǎng)絡(luò)(IR-Net)模型,它保留了訓(xùn)練過(guò)程中的信息,實(shí)現(xiàn)了二值化模型的高精度。

前向傳播中的Libra Parameter Binarization(Libra-PB)

在此之前,絕大多數(shù)網(wǎng)絡(luò)二值化方法試圖減小二值化操作的量化誤差。然而,僅通過(guò)最小化量化誤差來(lái)獲得一個(gè)良好的二值網(wǎng)絡(luò)是不夠的。因此,Libra-PB設(shè)計(jì)的關(guān)鍵在于:使用信息熵指標(biāo),最大化二值網(wǎng)絡(luò)前向傳播過(guò)程中的信息流。

根據(jù)信息熵的定義,在二值網(wǎng)絡(luò)中,二值參數(shù)Qx(x)的熵可以通過(guò)以下公式計(jì)算:

如果單純地追求量化誤差最小化,在極端情況下,量化參數(shù)的信息熵甚至可以接近于零。因此,Libra-PB將量化值的量化誤差和二值參數(shù)的信息熵同時(shí)作為優(yōu)化目標(biāo),定義為:

在伯努利分布假設(shè)下,當(dāng)p=0.5時(shí),量化值的信息熵取最大值。

因此,在Libra-PB通過(guò)標(biāo)準(zhǔn)化和平衡操作獲得標(biāo)準(zhǔn)化平衡權(quán)重,如圖2所示,在Bernoulli分布下,由Libra-PB量化的參數(shù)具有最大的信息熵。有趣的是,對(duì)權(quán)重的簡(jiǎn)單變換也可以極大改善前向過(guò)程中激活的信息流。因?yàn)榇藭r(shí),各層的二值激活值信息熵同樣可以最大化,這意味著特征圖中信息可以被保留。

在以往的二值化方法中,為了使量化誤差減小,幾乎所有方法都會(huì)引入浮點(diǎn)尺度因子來(lái)從數(shù)值上逼近原始參數(shù),這無(wú)疑將高昂的浮點(diǎn)運(yùn)算引入其中。在Libra-PB中,為了進(jìn)一步減小量化誤差,同時(shí)避免以往二值化方法中代價(jià)高昂的浮點(diǎn)運(yùn)算,Libra-PB引入了整數(shù)移位標(biāo)量s,擴(kuò)展了二值權(quán)重的表示能力。

因此最終,針對(duì)正向傳播的Libra參數(shù)二值化可以表示如下:

IR-Net的主要運(yùn)算操作可以表示為:


       反向傳播中的Error Decay Estimator(EDE)

由于二值化的不連續(xù)性,梯度的近似對(duì)于反向傳播是不可避免的,這種對(duì)sign函數(shù)的近似帶來(lái)了兩種梯度的信息損失,包括截?cái)喾秶鈪?shù)更新能力下降造成的信息損失,和截?cái)喾秶鷥?nèi)近似誤差造成的信息損失。為了更好的保留反向傳播中由損失函數(shù)導(dǎo)出的信息,平衡各訓(xùn)練階段對(duì)于梯度的要求,EDE引入了一種漸進(jìn)的兩階段近似梯度方法。

第一階段:保留反向傳播算法的更新能力。將梯度估計(jì)函數(shù)的導(dǎo)數(shù)值保持在接近1的水平,然后逐步將截?cái)嘀祻囊粋(gè)大的數(shù)字降到1。利用這一規(guī)則,近似函數(shù)從接近Identity函數(shù)演化到Clip函數(shù),從而保證了訓(xùn)練早期的更新能力。

第二階段:使0附近的參數(shù)被更準(zhǔn)確地更新。將截?cái)啾3譃?,并逐漸將導(dǎo)數(shù)曲線(xiàn)演變到階梯函數(shù)的形狀。利用這一規(guī)則,近似函數(shù)從Clip函數(shù)演變到sign函數(shù),從而保證了前向和反向傳播的一致性。

各階段EDE的形狀變化如圖3(c)所示。通過(guò)該設(shè)計(jì),EDE減小了前向二值化函數(shù)和后向近似函數(shù)之間的差異,同時(shí)所有參數(shù)都能得到合理的更新。

實(shí)驗(yàn)結(jié)果

作者使用了兩個(gè)基準(zhǔn)數(shù)據(jù)集:CIFAR-10和ImageNet(ILSVRC12)進(jìn)行了實(shí)驗(yàn)。在兩個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,IR-Net比現(xiàn)有的最先進(jìn)方法更具競(jìng)爭(zhēng)力。

Deployment Efficiency

為了進(jìn)一步驗(yàn)證IR-Net在實(shí)際移動(dòng)設(shè)備中的部署效率,作者在1.2GHz 64位四核ARM Cortex-A53的Raspberry Pi 3B上進(jìn)一步實(shí)現(xiàn)了IR-Net,并在實(shí)際應(yīng)用中測(cè)試了其真實(shí)速度。表5顯示,IR-Net的推理速度要快得多,模型尺寸也大大減小,而且IR-Net中的位移操作幾乎不會(huì)帶來(lái)額外的推理時(shí)間和存儲(chǔ)消耗。

Reference[1] Rastegari M, Ordonez V,Redmon J, et al. Xnor-net: Imagenet classification using binary convolutionalneural networks[C]//ECCV. Springer, Cham, 2016: 525-542.[2] Xie B, Liang Y, Song L.Diverse neural network learns true target functions[J]. arXiv preprintarXiv:1611.03131, 2016.

聲明: 本文由入駐維科號(hào)的作者撰寫(xiě),觀點(diǎn)僅代表作者本人,不代表OFweek立場(chǎng)。如有侵權(quán)或其他問(wèn)題,請(qǐng)聯(lián)系舉報(bào)。

發(fā)表評(píng)論

0條評(píng)論,0人參與

請(qǐng)輸入評(píng)論內(nèi)容...

請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字

您提交的評(píng)論過(guò)于頻繁,請(qǐng)輸入驗(yàn)證碼繼續(xù)

  • 看不清,點(diǎn)擊換一張  刷新

暫無(wú)評(píng)論

暫無(wú)評(píng)論

人工智能 獵頭職位 更多
掃碼關(guān)注公眾號(hào)
OFweek人工智能網(wǎng)
獲取更多精彩內(nèi)容
文章糾錯(cuò)
x
*文字標(biāo)題:
*糾錯(cuò)內(nèi)容:
聯(lián)系郵箱:
*驗(yàn) 證 碼:

粵公網(wǎng)安備 44030502002758號(hào)