【論文筆記 2】CNN經典入門STRIVING FOR SIMPLICITY: THE ALL CONVOLUTIONAL NET

1. 綜述

對現代的CNN網絡結構進行了簡要說明，一般的網絡都是由卷積，池化，全連三部分組成，主要任務為

• 探究最大池化的作用，并嘗試用（increaed stride）卷積代替
• 設計一整套只使用卷積的網絡
• 通過deconvolution來進行可視化操作

近期的網絡優化策略：

a plethora of extensions 使用更復雜的激活函數，正則化手法，預處理

different architectural choices 多卷積，heterogeneous（異構）modules

2.模型簡介 ACN

跟傳統的CNN有不同：

• 出除池化層，用步長為2的卷積代替
• 出除全連層用1X1卷積來代替

利用卷積方程和池化方程來闡述卷積的作用

其中池化為什么被使用有三個原因：

P-Norm使得網絡有一定不變性，理解為平移，縮放不變性

使得能夠更加清楚的看到一些大的特征

參數減少，好優化

其中最重要的是第二條，通過以下方法來替代pooling

• 直接出除池化層，然后增加卷積步長
• 用步長2，channel =3 的卷積來替換

3.實驗

很細節的東西

4.反卷積

• 利用zelier反卷積的思想，但是因為這個網絡沒有池化層，所以更加的高效

• 反卷積從高層的feature map 出發invert the data flow 從被激活的神經元到下層圖像

• 不用使用switch標記location

提出一種guided backpropagation

總結

以上是生活随笔為你收集整理的【论文笔记 2】CNN经典入门STRIVING FOR SIMPLICITY: THE ALL CONVOLUTIONAL NET的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。