ABSTRCAT

如今用于目標識別的CNNs大都以相同的原則構建：卷積層與最大池化層交替，接著是少量全連接層。本文重新評估了用CNN從小圖像中識別物體的技術水平，產生了對上述結構中不同成分的必要性的質疑。我們發現，在幾個基本圖像識別數據集上，最大池化層可以簡單地被具有更大步長的卷積層代替。根據這種猜想，我們提出了一種新的架構，其僅由卷積層組成，并且在幾個目標識別數據集上(CIFAR-10, CIFAR-100, ImageNet)產生了具有競爭性的或是當前最好的表現。為了分析網絡，我們引入了一種新的“反卷積方法”變體，用于可視化CNN學習的特征，它可以比現有方法應用于更廣泛的網絡結構。

1 INTRODUCTION AND RELATED WORK

現有CNNs在各層之間使用分段線性激活函數。在使用dropout訓練期間，網絡參數通常被參數化為大規模、規則化。過去幾年來，大量的研究集中于提高這一基本流程的性能。有兩個主要的方向:1，A plethora of extensions被提出用于改進遵循這種規則的網絡，這些工作中最顯著的方向是使用更復雜的激活函數。2，最值得注意的是，2014年ImageNet挑戰中的頂級條目偏離了標準設計原則，通過在池化層之間引入多個卷積（Simonyan＆Zisserman，2014），或者在每層中構建模塊來執行不同規模的卷積與池化。
由于所有這些擴展和不同的體系結構都帶有自己的參數和訓練過程，因此問題出現了，為了在當前目標識別數據集上實現最佳性能，CNNs的那些成分是真正必須的。我們首先通過研究我們可以設想的最簡單的體系結構來回答這個問題：一個完全由卷積層組成的均勻網絡，偶爾通過使用2步長降低維度。令人驚訝的是，我們發現這個基本架構 - 使用vanilla stochastic gradient descent with momentum進行訓練就可以達到最先進的性能，無需復雜的激活函數，任何響應標準化或最大池化。我們通過對CIFAR-10進行ablation study并將我們的模型與CIFAR-10，CIFAR-100和ILSVRC-2012 ImageNet數據集的現有最佳技術進行比較，從而憑經驗研究從更標準的體系結構過渡到我們的簡化CNN的效果。由于在我們的體系結構中降維是通過逐步卷積而不是最大化匯集進行的，因此它自然也適用于研究有關神經網絡可逆性的問題，為了朝這個方向邁出第一步，我們使用類似于Zeiler＆Fergus（2014）的去卷積方法來研究我們網絡的特性。

2 MODEL DESCRIPTION - THE ALL CONVOLUTIONAL NETWORK

實驗中我們所用模型與標準的CNNs在幾個關鍵方面有所不同。第一，我們用步長為2的標準卷積層取代了實踐中用于目標識別的CNNs都會出現的池化層。為了理解為什么這個過程能夠起作用，我們需要回顧用于定義CNN中的卷積和合并操作的標準公式。令 f f 由一個CNN的某些層產生的feature map。它可以描述為一個W*H *N的三維數組，其中W和H是圖像的寬和高，N是通道數量，為防止 f f 是一個卷積層的輸出，N是本層濾波器的數量。

待續

總結

以上是生活随笔為你收集整理的《STRIVING FOR SIMPLICITY: THE ALL CONVOLUTIONAL NET》论文学习的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。