在CVPR 2020上，商湯研究院鏈接與編譯組和北京航空航天大學(xué)劉祥龍老師團(tuán)隊(duì)提出了一種旨在優(yōu)化前后向傳播中信息流的實(shí)用、高效的網(wǎng)絡(luò)二值化新算法IR－Net。不同于以往二值神經(jīng)網(wǎng)絡(luò)大多關(guān)注量化誤差方面，本文首次從統(tǒng)一信息的角度研究了二值網(wǎng)絡(luò)的前向和后向傳播過(guò)程，為網(wǎng)絡(luò)二值化機(jī)制的研究提供了全新的視角。同時(shí)，該工作首次在ARM設(shè)備上進(jìn)行了先進(jìn)二值化算法效率驗(yàn)證，顯示了IR－Net部署時(shí)的優(yōu)異性能和極高的實(shí)用性，有助于解決工業(yè)界關(guān)注的神經(jīng)網(wǎng)絡(luò)二值化落地的核心問(wèn)題。

動(dòng) 機(jī)

二值神經(jīng)網(wǎng)絡(luò)因其存儲(chǔ)量小、推理效率高而受到社會(huì)的廣泛關(guān)注 ［1］。然而與全精度的對(duì)應(yīng)方法相比，現(xiàn)有的量化方法的精度仍然存在顯著的下降。

對(duì)神經(jīng)網(wǎng)絡(luò)的研究表明，網(wǎng)絡(luò)的多樣性是模型達(dá)到高性能的關(guān)鍵［2］，保持這種多樣性的關(guān)鍵是：（1） 網(wǎng)絡(luò)在前向傳播過(guò)程中能夠攜帶足夠的信息；（2） 反向傳播過(guò)程中，精確的梯度為網(wǎng)絡(luò)優(yōu)化提供了正確的信息。二值神經(jīng)網(wǎng)絡(luò)的性能下降主要是由二值化的有限表示能力和離散性造成的，這導(dǎo)致了前向和反向傳播的嚴(yán)重信息損失，模型的多樣性急劇下降。同時(shí)，在二值神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程中，離散二值化往往導(dǎo)致梯度不準(zhǔn)確和優(yōu)化方向錯(cuò)誤。如何解決以上問(wèn)題，得到更高精度的二值神經(jīng)網(wǎng)絡(luò)？這一問(wèn)題被研究者們廣泛關(guān)注，本文的動(dòng)機(jī)在于：通過(guò)信息保留的思路，設(shè)計(jì)更高性能的二值神經(jīng)網(wǎng)絡(luò)。

基于以上動(dòng)機(jī)，本文首次從信息流的角度研究了網(wǎng)絡(luò)二值化，提出了一種新的信息保持網(wǎng)絡(luò)（IR－Net）：（1）在前向傳播中引入了一種稱(chēng)為L(zhǎng)ibra參數(shù)二值化（Libra－PB）的平衡標(biāo)準(zhǔn)化量化方法，最大化量化參數(shù)的信息熵和最小化量化誤差；（2） 在反向傳播中采用誤差衰減估計(jì)器（EDE）來(lái)計(jì)算梯度，保證訓(xùn)練開(kāi)始時(shí)的充分更新和訓(xùn)練結(jié)束時(shí)的精確梯度。

IR－Net提供了一個(gè)全新的角度來(lái)理解二值神經(jīng)網(wǎng)絡(luò)是如何運(yùn)行的，并且具有很好的通用性，可以在標(biāo)準(zhǔn)的網(wǎng)絡(luò)訓(xùn)練流程中進(jìn)行優(yōu)化。作者使用CIFAR－10和ImageNet數(shù)據(jù)集上的圖像分類(lèi)任務(wù)來(lái)評(píng)估提出的IR－Net，同時(shí)借助開(kāi)源二值化推理庫(kù)daBNN進(jìn)行了部署效率驗(yàn)證。

方法設(shè)計(jì)

高精度二值神經(jīng)網(wǎng)絡(luò)訓(xùn)練的瓶頸主要在于訓(xùn)練過(guò)程中嚴(yán)重的信息損失。前向sign函數(shù)和后向梯度逼近所造成的信息損失嚴(yán)重影響了二值神經(jīng)網(wǎng)絡(luò)的精度。為了解決以上問(wèn)題，本文提出了一種新的信息保持網(wǎng)絡(luò)（IR－Net）模型，它保留了訓(xùn)練過(guò)程中的信息，實(shí)現(xiàn)了二值化模型的高精度。

前向傳播中的Libra Parameter Binarization（Libra－PB）

在此之前，絕大多數(shù)網(wǎng)絡(luò)二值化方法試圖減小二值化操作的量化誤差。然而，僅通過(guò)最小化量化誤差來(lái)獲得一個(gè)良好的二值網(wǎng)絡(luò)是不夠的。因此，Libra－PB設(shè)計(jì)的關(guān)鍵在于：使用信息熵指標(biāo)，最大化二值網(wǎng)絡(luò)前向傳播過(guò)程中的信息流。

根據(jù)信息熵的定義，在二值網(wǎng)絡(luò)中，二值參數(shù)Qx（x）的熵可以通過(guò)以下公式計(jì)算：

如果單純地追求量化誤差最小化，在極端情況下，量化參數(shù)的信息熵甚至可以接近于零。因此，Libra－PB將量化值的量化誤差和二值參數(shù)的信息熵同時(shí)作為優(yōu)化目標(biāo)，定義為：

在伯努利分布假設(shè)下，當(dāng)p＝0．5時(shí)，量化值的信息熵取最大值。

因此，在Libra－PB通過(guò)標(biāo)準(zhǔn)化和平衡操作獲得標(biāo)準(zhǔn)化平衡權(quán)重，如圖2所示，在Bernoulli分布下，由Libra－PB量化的參數(shù)具有最大的信息熵。有趣的是，對(duì)權(quán)重的簡(jiǎn)單變換也可以極大改善前向過(guò)程中激活的信息流。因?yàn)榇藭r(shí)，各層的二值激活值信息熵同樣可以最大化，這意味著特征圖中信息可以被保留。

在以往的二值化方法中，為了使量化誤差減小，幾乎所有方法都會(huì)引入浮點(diǎn)尺度因子來(lái)從數(shù)值上逼近原始參數(shù)，這無(wú)疑將高昂的浮點(diǎn)運(yùn)算引入其中。在Libra－PB中，為了進(jìn)一步減小量化誤差，同時(shí)避免以往二值化方法中代價(jià)高昂的浮點(diǎn)運(yùn)算，Libra－PB引入了整數(shù)移位標(biāo)量s，擴(kuò)展了二值權(quán)重的表示能力。

因此最終，針對(duì)正向傳播的Libra參數(shù)二值化可以表示如下：

IR－Net的主要運(yùn)算操作可以表示為：

       反向傳播中的Error Decay Estimator（EDE）

由于二值化的不連續(xù)性，梯度的近似對(duì)于反向傳播是不可避免的，這種對(duì)sign函數(shù)的近似帶來(lái)了兩種梯度的信息損失，包括截?cái)喾秶�外參�?shù)更新能力下降造成的信息損失，和截?cái)喾秶鷥?nèi)近似誤差造成的信息損失。為了更好的保留反向傳播中由損失函數(shù)導(dǎo)出的信息，平衡各訓(xùn)練階段對(duì)于梯度的要求，EDE引入了一種漸進(jìn)的兩階段近似梯度方法。

第一階段：保留反向傳播算法的更新能力。將梯度估計(jì)函數(shù)的導(dǎo)數(shù)值保持在接近1的水平，然后逐步將截?cái)嘀祻囊粋�(gè)大的數(shù)字降到1。利用這一規(guī)則，近似函數(shù)從接近Identity函數(shù)演化到Clip函數(shù)，從而保證了訓(xùn)練早期的更新能力。

第二階段：使0附近的參數(shù)被更準(zhǔn)確地更新。將截?cái)啾３譃?，并逐漸將導(dǎo)數(shù)曲線(xiàn)演變到階梯函數(shù)的形狀。利用這一規(guī)則，近似函數(shù)從Clip函數(shù)演變到sign函數(shù)，從而保證了前向和反向傳播的一致性。

各階段EDE的形狀變化如圖3（c）所示。通過(guò)該設(shè)計(jì)，EDE減小了前向二值化函數(shù)和后向近似函數(shù)之間的差異，同時(shí)所有參數(shù)都能得到合理的更新。

實(shí)驗(yàn)結(jié)果

作者使用了兩個(gè)基準(zhǔn)數(shù)據(jù)集：CIFAR－10和ImageNet（ILSVRC12）進(jìn)行了實(shí)驗(yàn)。在兩個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，IR－Net比現(xiàn)有的最先進(jìn)方法更具競(jìng)爭(zhēng)力。

Deployment Efficiency

為了進(jìn)一步驗(yàn)證IR－Net在實(shí)際移動(dòng)設(shè)備中的部署效率，作者在1．2GHz 64位四核ARM Cortex－A53的Raspberry Pi 3B上進(jìn)一步實(shí)現(xiàn)了IR－Net，并在實(shí)際應(yīng)用中測(cè)試了其真實(shí)速度。表5顯示，IR－Net的推理速度要快得多，模型尺寸也大大減小，而且IR－Net中的位移操作幾乎不會(huì)帶來(lái)額外的推理時(shí)間和存儲(chǔ)消耗。

Reference［1］ Rastegari M， Ordonez V，Redmon J， et al． Xnor－net： Imagenet classification using binary convolutionalneural networks［C］／／ECCV． Springer， Cham， 2016： 525－542．［2］ Xie B， Liang Y， Song L．Diverse neural network learns true target functions［J］． arXiv preprintarXiv：1611．03131， 2016．