前言:這篇論文旨在以極低的計(jì)算成本解決性能大幅下降的問(wèn)題。提出了微分解卷積,將卷積矩陣分解為低秩矩陣,將稀疏連接整合到卷積中。提出了一個(gè)新的動(dòng)態(tài)激活函數(shù)-- Dynamic Shift Max,通過(guò)最大化輸入特征圖與其循環(huán)通道移位之間的多個(gè)動(dòng)態(tài)融合來(lái)改善非線性。

在這兩個(gè)新操作的基礎(chǔ)上,得到了一個(gè)名為 MicroNet 的網(wǎng)絡(luò)系列,它在低 FLOP 機(jī)制中實(shí)現(xiàn)了比現(xiàn)有技術(shù)顯著的性能提升。在 12M FLOPs 的約束下,MicroNet 在 ImageNet 分類上達(dá)到了 59．4% 的 top-1 準(zhǔn)確率,比 MobileNetV3 高 9．6%。

歡迎關(guān)注公眾號(hào) CV技術(shù)指南 ,專注于計(jì)算機(jī)視覺(jué)的技術(shù)總結(jié)、最新技術(shù)跟蹤、經(jīng)典論文解讀。

論文出發(fā)點(diǎn)

高效 CNN 架構(gòu)的最新進(jìn)展成功地將 ImageNet 分類的計(jì)算成本從 3．8G FLOPs (ResNet-50) 降低了兩個(gè)數(shù)量級(jí)到大約 40M FLOPs(例如 MobileNet、ShuffleNet),性能下降合理。

然而,當(dāng)進(jìn)一步降低計(jì)算成本時(shí),它們會(huì)遭受顯著的性能下降。例如,當(dāng)計(jì)算成本分別從 44M 下降到 21M 和 12M MAdds 時(shí),MobileNetV3 的 top-1 準(zhǔn)確率從 65．4% 大幅下降到 58．0% 和 49．8%。

這篇論文的目標(biāo)是將極低 FLOP 機(jī)制下的精度從 21M 降到 4M MAdds,這標(biāo)志著計(jì)算成本降低到另一個(gè)數(shù)量級(jí)。

處理極低計(jì)算成本(4M-21M FLOPs)的問(wèn)題非常具有挑戰(zhàn)性,考慮到輸入數(shù)據(jù)大小為 224×224x3,在第一層 3 × 3 卷積、輸出通道8的操作上就消耗了 2．7M MAdds。 剩余的資源太有限,無(wú)法設(shè)計(jì)有效分類所需的卷積層和 1,000 類分類器。

如上圖所示,減少現(xiàn)有高效 CNN(例如 MobileNet 和 ShuffleNet)的寬度或深度的常見(jiàn)策略會(huì)導(dǎo)致嚴(yán)重的性能下降。

這篇論文專注于新的算子設(shè)計(jì),同時(shí)將輸入分辨率固定為 224×224,預(yù)算成本為 4M FLOPs。

創(chuàng)新思路

這篇論文從兩個(gè)角度處理極低的 FLOPs:節(jié)點(diǎn)連接性(node connectivity)和非線性(non-linearity),這與網(wǎng)絡(luò)寬度和深度有關(guān)。

首先,降低節(jié)點(diǎn)連接以擴(kuò)大網(wǎng)絡(luò)寬度為給定的計(jì)算預(yù)算提供了一個(gè)很好的權(quán)衡。其次,依靠改進(jìn)的層非線性來(lái)補(bǔ)償減少的網(wǎng)絡(luò)深度,這決定了網(wǎng)絡(luò)的非線性。這兩個(gè)因素促使設(shè)計(jì)更有效的卷積和激活函數(shù)。

Methods

Micro-Factorized Convolution

分為兩部分:Micro-Factorized Pointwise Convolution和 Micro-Factorized Depthwise Convolution,兩者再以不同方式組合。

Micro-Factorized Pointwise Convolution

論文提出了微分解卷積 (MF-Conv) 將逐點(diǎn)卷積分解為兩個(gè)組卷積層,其中組數(shù) G 適應(yīng)通道數(shù) C 為:G = sqrt(C/R)。其中 R 是兩者之間的通道縮減比。

對(duì)于給定的計(jì)算成本,該等式在通道數(shù)量和節(jié)點(diǎn)連接之間實(shí)現(xiàn)了良好的折衷。

如上圖所示,輸入通道數(shù)C分為G組,G組再通過(guò)中間一個(gè) (C/R × C/R )的置換矩陣Φ 降低通道數(shù),這個(gè)置換矩陣類似于shufflenet中的打亂通道順序的操作。

Micro-Factorized Depthwise Convolution

這個(gè)部分是引用Inception_v2中的分解卷積,在使用Depthwise的基礎(chǔ)上,將KxK卷積核分為Kx1和1xK兩部分。

Micro-Factorized pointwise 和 depthwise 卷積可以以兩種不同的方式組合:(a) 常規(guī)組合,和 (b) lite 組合。

前者只是將兩個(gè)卷積連接起來(lái)。 上圖所示的 lite 組合使用微分解深度卷積來(lái)擴(kuò)展通道數(shù)量,通過(guò)為每個(gè)通道應(yīng)用多個(gè)空間濾波器。 然后應(yīng)用一組自適應(yīng)卷積來(lái)融合和壓縮通道數(shù)。 與其常規(guī)組合方式相比,它通過(guò)節(jié)省通道融合(pointwise)計(jì)算在學(xué)習(xí)空間過(guò)濾器(depthwise)上花費(fèi)更多資源,經(jīng)驗(yàn)證明這對(duì)于實(shí)現(xiàn)較低的網(wǎng)絡(luò)層更有效。

Dynamic Shift-Max

考慮到Micro-Factorized pointwise 卷積更注重組內(nèi)的連接,因此提出Dynamic Shift-Max,這是一種新的動(dòng)態(tài)非線性,用于加強(qiáng)由Micro-Factorized創(chuàng)建的組之間的聯(lián)系。

Dynamic Shift-Max 輸出 K 個(gè)融合的最大值,每個(gè)融合組合多個(gè) (J) 組位移為

其中J表示組數(shù),i表示通道數(shù),K表示融合后的輸出數(shù)量。當(dāng)J=K=2時(shí),可以在準(zhǔn)確率和復(fù)雜度之間取得較好的折衷。

這個(gè)公式用一句話來(lái)解釋就是,每J個(gè)組,對(duì)每組的x進(jìn)行加權(quán)求和,共K個(gè)融合,然后取K個(gè)中的最大值作為第i個(gè)通道上的激活函數(shù)值。

這樣,DY-Shift-Max 實(shí)現(xiàn)了兩種形式的非線性: (a) 輸出 J 組的 K 個(gè)融合的最大值,以及 (b) 通過(guò)動(dòng)態(tài)參數(shù)。

第一個(gè)非線性是對(duì) Micro-Factorized pointwise 卷積的補(bǔ)充,它側(cè)重于每個(gè)組內(nèi)的連接,加強(qiáng)組之間的連接。第二個(gè)使網(wǎng)絡(luò)能夠根據(jù)輸入 x 調(diào)整這種強(qiáng)化。這兩個(gè)操作增加了網(wǎng)絡(luò)的表示能力,補(bǔ)償了減少層數(shù)所帶來(lái)的損失。

MicroNet

Conclusion

在 12M FLOPs 的約束下,MicroNet 在 ImageNet 分類上達(dá)到了 59．4% 的 top-1 準(zhǔn)確率,比 MobileNetV3 高 9．6%。

對(duì) ImageNet 分類的評(píng)估。左:top-1 準(zhǔn)確率與 FLOPs。右圖:top-1 準(zhǔn)確率與延遲。注意添加了 Mo bileNetV3 ×0．75 以方便比較。MicroNet 優(yōu)于 MobileNetV3,尤其是在計(jì)算成本極低的情況下(當(dāng) FLOPs 小于 15M 或延遲小于 9ms 時(shí),top-1 精度提高 5% 以上)。

動(dòng)態(tài) Shift-Max 與 ImageNet 上的其他激活函數(shù)的比較。

本文來(lái)源于公眾號(hào) CV技術(shù)指南 的論文分享系列。

歡迎關(guān)注公眾號(hào) CV技術(shù)指南 ,專注于計(jì)算機(jī)視覺(jué)的技術(shù)總結(jié)、最新技術(shù)跟蹤、經(jīng)典論文解讀。