轉載【https://blog.csdn.net/qinqbaobei/article/details/54092619】

Striving For Simplicity: The All Convolution Net 是ICLR 2015的一篇論文，作者Jost Tobias Springenberg , Alexey Dosovitskiy , Thomas Brox, Martin Riedmiller

簡介

本文拋棄了以往物體檢測CNN網絡中的池化層和全連接層，通過使用步長更大的卷積層來代替池化以及使用卷積核為1的卷積層來代替全連接層，在cifar-10和cifar-100上取得了很好的效果，并在imageNet上有很好的競爭力。

如何提高網絡性能

大量用于關于物體檢測的卷積神經網絡都采用相似的設計方式，使用可變的卷積層和池化層并加小數量的全連接層。在如何增強這種設計思想網絡性能上，很多人進行了探索：?
1.使用更復雜的激活函數，使用改善的regularization，以及利用標簽信息進行layer-wise的預訓練?
2.使用不同的CNN架構?
本文作者通過對不同數據集上進行實驗，發現僅僅使用卷積層的網絡結構并不會對物體檢測的性能產生影響。池化層的存在并非必要，可以使用步長較大的卷積層進行替代。

池化層的作用

對于池化層作用的完整解釋很難給出，作者假定池化層通過以上三個方面來對CNN的性能產生幫助：?
1.p-norm使CNN的表示更具不變性（invariant）?
2.降維使高層能夠覆蓋輸入層的更多部分?
3.feature-wise的特性更容易優化?
假設上面的第二點即降維對與CNN的性能提升至關重要，我們可以通過使用下面兩種方法來代替池化層取得相似的降維效果：?
1.直接移除池化層病增大卷積層的步長?
2.使用步長大于1的卷積層來代替池化層?
第一種方法等價于池化操作但僅考慮了頂部左側的特征響應，因而可能會降低檢測的準確率。另外使用卷積層代替池化層除非對權值矩陣進行限制，否則會增加特征之間的依賴性。?
作者將代替市委學習的過程，并做了相應的實驗進行評估。

網絡模型的不同

前面已經提到了論文網絡模型相較于以往CNN的不同之處，在這里進行說明：?
1.使用stride大于1的卷積層代替以往CNN中的池化層（下采樣層）?
2.使用filter大小為1*1的卷積層代替全臉階層?
整個網絡模型完全只有卷積層，在softmax層之前使用全局平均。

實驗

作者對使用三種模型在cifar-10和cifar-100以及imageNet上進行實驗，實驗結果以及網絡模型見圖。?

結論

cifar數據集上，論文使用全卷積獲得了超過state-of-the-art的效果。作者通過實驗發現，使用maxpooling病不能總是提升CNN網路的性能，特別當使用特別大的網絡這種網絡通過卷積層即可學的相應數據集的必要不變特征時。

總結

以上是生活随笔為你收集整理的Striving For Simplicity: The All Convolution Net 简析的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。