據官方消息，ICLR 2020會議將取消線下會議，并于4月25日-30日線上舉辦虛擬會議。本屆會議共有 2594篇投稿，其中 687篇論文被接收(48篇oral論文，107篇spotlight論文和531篇poster論文)，接收率為26.5%。

本文介紹發表在 ICLR 2020 上的論文《FSNet: Compression of Deep Convolutional Neural Networks by Filter Summary》。該工作針對深度卷積網絡提出了一種全新的基于可微參數共享的模型壓縮方法。

文 | Yingzhen Yang

編 | 賈偉

論文鏈接：

https://openreview.net/forum?id=S1xtORNFwH

深度神經網絡的壓縮和加速一直是深度學習領域的熱點問題。本文針對深度卷積網絡提出了一種全新的基于可微分參數共享的模型壓縮方法。

注意到卷積網絡的參數主要集中于卷積核，新方法提出一種被稱為卷積核概要(Filter Summary)的新型緊湊結構來表示同一個卷積層中的所有卷積核。

我們將基線網絡的每一個卷積層的所有卷積核都用一個卷積核概要來替代，這樣得到的網絡被稱為卷積核概要網絡 (Filter Summary Net, or FSNet)。在卷積核概要網絡中, 同一個卷積層的所有卷積核都被表示成卷積核概要中的互相重疊的張量。

因為相鄰卷積核在它們的重疊區域自然的共享參數，卷積核概要的參數量遠小于基線網絡對應層的所有卷積核的參數量，卷積核概要網絡的參數總量也相應的遠小于其基線網絡的參數總量。卷積核概要還可以和參數量化方法結合，從而進一步提高壓縮率。

我們在圖像分類和目標檢測這兩個計算機視覺任務上展示卷積核概要網絡的實驗結果。

在圖像分類任務中，在CIFAR-10和ImageNet數據集上卷積核概要網絡的壓縮率均超過了傳統的卷積核剪枝方法。

在目標檢測任務中，我們利用SSD300作為基線網絡，并采用PASCAL Visual Object Classes (VOC) 2007/2012 作為訓練集。配合參數量化方法，卷積核概要網絡僅用0.68M參數量即在VOC 2007的測試集上達到了70.00% mAP。作為對照，MobileNetV2 SSD-Lite (Sandler et al., 2018) 需要3.46M參數量在相同的訓練集和測試集上達到68.60% mAP。

我們進一步將卷積核概要網絡和神經網絡架構自動搜索的思路結合，提出可微分卷積核概要網絡 (Differentiable FSNet, or DFSNet)。

我們利用最近的可微分神經網路架構搜索方法 (Differentiable Architecture Search, DARTS) 中的模型作為基線網絡，在CIFAR-10數據的訓練集上訓練得到的可微分卷積核概要網絡僅用1.88M參數量就在CIFAR-10測試集上達到了97.19%的分類準確率。相較于基線網絡 (DARTS)的3.13M參數量和97.50%準確率，可微分卷積核概要網絡在僅損失0.31%的準確率的代價下降低了40%的參數量。

隨著神經網絡架構自動搜索技術的發展，我們相信(可微分)卷積核概要網絡將在未來發揮更大的作用。

總結

以上是生活随笔為你收集整理的卷积核里面的参数怎么来的_FSNet：利用卷积核概要进行深度卷积神经网络的压缩...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。