ECCV 2020 已經(jīng)拉開帷幕！今天，小編要給大家分享的是來自三星團隊的 Oral Presentation：

標題： Post－Training Piecewise Linear Quantization for Deep Neural Network

作者：Jun Fang， Ali Shafiee， Hamzah Abdel－Aziz， David Thorsley， Georgios Georgiadis， Joseph Hassoun

近年來深度神經(jīng)網(wǎng)絡在很多的問題中，通過加大模型的深度、寬度或分辨度，取得了越來越高的精度。但與此同時也增加了模型的計算復雜度和內存需求，從而導致在資源有限的嵌入式設備上來部署這些模型應用變得更加困難。

量化 （Quantization）是一種非常實際有用的壓縮和加速模型的方法。它通過轉換模型的 32 位浮點（FP32）weights和activations到低精度的整數(shù)（比如 INT8），從而通過整數(shù)運算來近似原始的浮點運算模型達到壓縮和加速的效果。

然而在具體的實際應用中，Post－Training Quantization 是非常重要的。因為它不需要重新訓練模型的參數(shù)，所以節(jié)省了非常耗費資源的調參過程；同時它也不需要訪問訓練數(shù)據(jù)，從而保護了數(shù)據(jù)的隱私性。在 Post－Training Quantization 的研究工作中，Uniform Quantization 是最受歡迎的方法。眾多研究表明，8－bit Uniform Quantization 就可以保持大部分的模型精度，但是如果降到 4－bit，精度會有非常顯著的損失。

此篇文章就是分析了 4－bit 精度損失的具體原因，并提出了他們的 Piecewise Linear Quantization（PWLQ）的方法來顯著的提高量化后模型的精度。如下圖所示，訓練完的模型的 weights 的分布并不是平均分布，而是近似于高斯分布：絕大多數(shù)的 weights 都集中于中心地帶，而少數(shù)的 weights 分散在稀疏的連邊上。可想而知，Uniform Quantization 對于這種分布的近似殘差不是最優(yōu)的。而 PWLQ 把分布區(qū)間分為沒有重疊的 center 和 tail 兩部分，每部分分配相同的量化格點數(shù)。這樣一來會導致中間部分的近似精度提高，而兩邊的近似精度下降，但因為絕大部分的 weights 都分布在中間部分，所以整體的近似精度還是會得到提高。

接下來，問題的關鍵在于怎么找到最優(yōu)的區(qū)分點（breakpoint），PWLQ 是通過最小化這種分布的近似殘差來得以選取。文章提供了具體的理論證明和下圖的數(shù)值模擬：近似的殘差是關于區(qū)分點的凹函數(shù)（Convex Function），所以這個最優(yōu)區(qū)分點是唯一存在的。

為了加快 Inference，文中提供了找到區(qū)分點的 one－shot 的公式。在數(shù)值實驗中，如下圖的三種模型 Inception－v3，ResNet－50 和 MobileNet－v2 在 ImageNet 的結果上，PWLQ 比 Uniform Quantization 有著明顯的更高精度。尤其在 4－bit MobileNet－v2 的對比上，PWLQ 有高出 27．42％ 的精度，由此可見 PWLQ 有著更強大的 representational power。

同時文中也做出了 PWLQ 和其他 state－of－the－art 的方法對比。如下圖所示，在 4／8 的情況下，PWLQ 比 LBQ（ICCV 2019）和 ACIQ（NeurIPS 2019）分別取得 0．40％ 和 7．96％ 的更高精度；在 4／4 的情況下，PWLQ 獲得更高精度的優(yōu)勢更加顯著。與此同時，PWLQ 不僅在 classification 的任務中取得好結果，在 segmentation 和 detection 任務上也得到了相似的好結果。

最后讓筆者感到欣喜的是文中不僅僅有展示 PWLQ 取得更好精度的優(yōu)勢所在，同時也有真誠討論 PWLQ 的不足之處。比如，PWLQ 的具體硬件實現(xiàn)中會帶來一定的額外消耗，下圖是作者給出的關于硬件 Latency 和 Energy 的具體模擬參數(shù)來說明這些額外消耗是可以接受的。