在眾多卷積神經(jīng)網(wǎng)絡(luò)（CNN）壓縮算法中，二值化網(wǎng)絡(luò)（BNN）作為網(wǎng)絡(luò)量化的極端情況，一直擁有著高壓縮比，高加速比的性能優(yōu)勢，但是 BNN 的精度不高也一直飽受詬病，阻礙了 BNN 在實際場景中的應(yīng)用。

今天和大家分享一篇 ECCV 2020 上發(fā)表的工作 ReActNet: Towards Precise ?Binary Neural Network with Generalized Activation Functions。是 Bi-Real Net 作者在二值化研究領(lǐng)域的最新成果。該論文用簡單的平移激活值分布的操作，就取得了超過等同于實數(shù)值 ResNet 的精度，可以說是長久以來對于 BNN 的艱苦探索的里程碑式的工作。

?

論文標(biāo)題：ReActNet:Towards Precise Binary Neural Network with Generalized Activation Functions

論文鏈接：https://arxiv.org/abs/2003.03488

代碼鏈接：https://github.com/liuzechun/ReActNet

?

這篇文章通過簡單的可學(xué)習(xí)的參數(shù)值，達到優(yōu)化 Activation 的分布的目的，從而增加 BNN 的中激活值所攜帶的信息量。僅僅通過這一簡單的改進，配合 Distributional Loss，本文 ReActNet，便可壓縮 MobileNet V1 至 87M FLOPs，并且取得高達 69.4% 的精度。

?

這比著名的 XNOR-Net 的結(jié)果 51.2% 要高出了 18.2%，而所需的 FLOPs 也幾乎僅僅是 XNOR-Net 的 1/2。同時，69.4% 的精度已經(jīng)超過 69.3% 的實數(shù)值 ResNet 精度，這也是首次 BNN 網(wǎng)絡(luò)能取得和實數(shù)值 ResNet 網(wǎng)絡(luò)同等高的精度，揭示了 BNN 的巨大潛力。

?

下圖是 ReActNet 與各個方法的對比。

而達成這個高精度的網(wǎng)絡(luò) ReActNet 的核心，其實是非常簡單直接操作。作者通過實驗發(fā)現(xiàn)，BNN 卷積輸出的特征圖很難同時兼顧攜帶足夠的特征信息和保證輸出值范圍適合下一層二值化操作。即，如果直接對網(wǎng)絡(luò)中傳遞的實數(shù)值進行取 Sign 操作，可能會遇到由于實數(shù)值范圍不合適而導(dǎo)致的二值化特征圖攜帶信息量低。如下圖所示。

只有在特征圖的取值范圍合適的時候（圖（b）），所輸出的二值化特征圖才是包含最多信息量和最容易被網(wǎng)絡(luò)是別的。

?

基于這個觀察，作者提出了 Generalized Sign 和 PReLU 函數(shù)，稱之為 RSign （ReAct Sign）和 RPReLU （ReAct PReLU），通過一個可學(xué)習(xí)的位移量來讓網(wǎng)絡(luò)自動學(xué)習(xí)最適合的 binary 閾值和 Activation 的分布。

?

直觀的理解，比如 RPReLU 所做的事情就是 Move Activation Distribution，Reshape，Move。移動，重塑，再移動。如下圖所示。

?

結(jié)合 Distributional Loss 和基于 MobileNet V1 的網(wǎng)絡(luò)改進，用了RSign 和 RPReLU 的 ReActNet 能在 ImageNet 數(shù)據(jù)集上取得了 69.3% 的 Top-1 Accuracy，超過了 State-of-the-art 的結(jié)果。而從網(wǎng)絡(luò)內(nèi)部的 Activation 分布中也可以看出，增加了 RSign 和 RPReLU 的 ReActNet 有更強的表達能力，可以捕捉到更精細(xì)的 Activation distribution。

最后，HKUST Vision and System Design Lab 正在招有硬件經(jīng)驗的同學(xué)來當(dāng)博士后，由 Tim CHENG 老師直接指導(dǎo)。如果你曾在 DAC，ICCAD 或同等硬件會議/期刊上發(fā)表過一作論文，歡迎發(fā)送簡歷到 zliubq@connect.ust.hk

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識的人。

總有一些你不認(rèn)識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標(biāo)準(zhǔn)：

? 稿件確系個人原創(chuàng)作品，來稿需注明作者個人信息（姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向）?

? 如果文章并非首發(fā)，請在投稿時提醒并附上所有已發(fā)布鏈接?

? PaperWeekly 默認(rèn)每篇文章都是首發(fā)，均會添加“原創(chuàng)”標(biāo)志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發(fā)送?

? 請留下即時聯(lián)系方式（微信或手機），以便我們在編輯發(fā)布時和作者溝通

????

現(xiàn)在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學(xué)術(shù)平臺。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結(jié)

以上是生活随笔為你收集整理的ECCV 2020 | 史上最强二值化网络ReActNet，精度首超ResNet的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。