【AI初识境】被Hinton，DeepMind和斯坦福嫌弃的池化，到底是什么？
文章首發于微信公眾號《有三AI》
【AI初識境】被Hinton，DeepMind和斯坦福嫌棄的池化，到底是什么？
這是專欄《AI初識境》的第8篇文章。所謂初識，就是對相關技術有基本了解，掌握了基本的使用方法。
今天來說說深度學習中的池化問題，包含池化的種類，作用機制以及最新的思考。
?作者&編輯?|?言有三
?
1?池化還要不要了
這一次咱們反著來，說說學術界對池化的最新觀點。通常我們認為，池化可以增加網絡對于平移的不變性，對于網絡的泛化能力的提升是非常關鍵的。不過，到底能起到多大的正向作用，卻是被很多人懷疑的。
首先是Hinton，還記得Hinton提出的Capsule?Module吧。他認為池化的使用就是一個大錯誤，而它有效又反而是一個大災難。池化固然可以提供一些平移和旋轉不變性，但是也破壞了圖像中的姿態和空間等信息，對檢測分割等高級任務有影響，所以才提出膠囊網絡(CapsuleNetwork)。至于這個發展的怎么樣了，筆者沒有關注，但是從大佬敢于革自己的“本命”這一點，就說明這個問題確實有點嚴重。
Hinton雖然指出了pooling的壞影響，但是無法否定其好處，那么池化是不是真的能夠提升網絡的泛化能力呢？
首先站出來好好回答這個問題的是斯坦福大學Eric?Kauderer-Abrams的研究【1】，它們通過一個平移敏感圖來進行研究。
這個平移敏感圖長下面這樣，它評估的就是一個網絡的輸出對于輸入的平移的敏感度。
上面這個圖是這么算的，首先用原圖計算預測特征分數，然后用平移過的圖計算預測特征分數，最后計算兩者的歸一化分數，越亮說明越相關。x和y分別就是偏移量，可以看到x，y都接近0的時候越亮，說明越相關，然后就隨著距離的增強而降低。
這就是說平移越大之后，對性能的影響越大，畢竟一個網絡不可能擁有完全的平移不變性。
在這個基礎上，他們就做實驗了，結果如下，c表示卷積，p表示pooling，aug表示數據增強，所以這里就是比較pooling和aug對性能的影響，結果表明池化不池化的，好像沒有什么用，而數據增強做不做得好，才是關鍵。結果說明CNN本身沒什么平移不變性，是靠數據學來的。
上面做了實驗，但是沒有更深層次地分析，為什么池化就沒有用了呢，這可是違反我們的常識的。
DeepMind的研究【2】給出了一個比較有說服力的解答，實驗的設置差不多，使用非池化和各種池化的網絡結構。
總之結論就是：看上面的4個圖。(a)?剛開始的時候池化確實有利于提高抗變形能力。(b)?不管池化不池化，模型最后學習完都能獲得同樣的抗變形能力。(c)?初始化的時候不同的池化方法是有差異的。(d)?學習完之后不管什么池化方法效果都差不多。
那總得有個理由吧？他們給出的理由是卷積核本身參數越平滑才越能提高對平移的穩定性，文中在卷積操作后面串接平滑操作，實驗對比如下。
這也沒毛病對吧，卷積核都平滑了，當然就沒有那么敏感了。
暫且先總結一下吧：池化什么的不重要了，搞數據增強才是正道。
?
2?什么是池化
上面都這么說了，接下來說池化略有點尷尬，但是作為知識體系的重要一環，還是有必要講述。
pooling，小名池化，思想來自于視覺機制，是對信息進行抽象的過程。
上圖就是一個池化的示意圖，用了一個10*10的卷積核，對20*20的圖像分塊不重疊的進行了池化，池化之后featuremap為2*2的大小。
pooling有什么用呢？或者說為什么需要pooling呢？原因有幾個：
1、增大感受野
所謂感受野，即一個像素對應回原圖的區域大小，假如沒有pooling，一個3*3，步長為1的卷積，那么輸出的一個像素的感受野就是3*3的區域，再加一個stride=1的3*3卷積，則感受野為5*5。
假如我們在每一個卷積中間加上3*3的pooling呢？很明顯感受野迅速增大，這就是pooling的一大用處。感受野的增加對于模型的能力的提升是必要的，正所謂“一葉障目則不見泰山也”。
2、平移不變性
我們希望目標的些許位置的移動，能得到相同的結果。因為pooling不斷地抽象了區域的特征而不關心位置，所以pooling一定程度上增加了平移不變性。
3、降低優化難度和參數
我們可以用步長大于1的卷積來替代池化，但是池化每個特征通道單獨做降采樣，與基于卷積的降采樣相比，不需要參數，更容易優化。全局池化更是可以大大降低模型的參數量和優化工作量。
?
3?池化有哪些
1、平均池化和最大池化
這是我們最熟悉的，通常認為如果選取區域均值(mean?pooling)，往往能保留整體數據的特征，較好的突出背景信息；如果選取區域最大值(max?pooling)，則能更好保留紋理特征。
2、stochastic?pooling/mixed?pooling
stochastic?pooling對feature?map中的元素按照其概率值大小隨機選擇，元素被選中的概率與其數值大小正相關，這就是一種正則化的操作了。mixed?pooling就是在max/average?pooling中進行隨機選擇。
3、Data?Driven/Detail-Preserving?Pooling
上面的這些方法都是手動設計，而現在深度學習各個領域其實都是往自動化的方向發展。
我們前面也說過，從激活函數到歸一化都開始研究數據驅動的方案，池化也是如此，每一張圖片都可以學習到最適合自己的池化方式。
此外還有一些變種如weighted?max?pooling，Lp?pooling，generalization?max?pooling就不再提了，還有global?pooling。
?
4?總結
帶步長的卷積雖然不需要池化，卻沒有了靈活的激活機制。平均池化穩扎穩打，卻丟失了細節。最大池化克服了平均池化的缺點，卻打斷了梯度回傳。
最終發現，池化也還是要學的好，所謂隨機應變，蓋莫如此。另外，如何選擇好用于池化的區域，也是一門學問。
參考文獻
[1]?Kaudererabrams?E.?Quantifying?Translation-Invariance?in?Convolutional?Neural?Networks.[J].?arXiv:?Computer?Vision?andPattern?Recognition,?2018.
[2]?Ruderman?A,?Rabinowitz?N?C,?Morcos?A?S,?et?al.?Pooling?is?neither?necessary?nor?sufficient?for?appropriate?deformationstability?in?CNNs[J].?arXiv:?Computer?Vision?and?Pattern?Recognition,?2018.
2019年有三AI培養計劃已經開始，一個季度一期。
2019年有三AI“春季”劃，給我一個榮耀，還你一生榮耀
?
深度學習理論部分快要結束了，看似平常朗朗上口的東西，其實背后蘊含著非常多可以思考的東西，唯有多想多做才能不浮于表面。
下一期預告：深度學習中的正則化
?
轉載文章請后臺聯系
侵權必究
比如網絡loss不正常，怎么調都不管用。
比如訓練好好的，測試就是結果不對。
bug天天有，深度學習算法工程師遇到的特別多，如果你想交流更多，就來有三AI知識星球實時提問交流吧，大咖眾多，總有能解決你問題的。
初識境界到此基本就結束了，這一系列是為大家奠定扎實的深度學習基礎，希望學習完后大家能有收獲。
AI白身境系列完整閱讀：
第一期：【AI白身境】深度學習從棄用windows開始
第二期：【AI白身境】Linux干活三板斧，shell、vim和git
第三期：【AI白身境】學AI必備的python基礎
第四期：【AI白身境】深度學習必備圖像基礎
第五期：【AI白身境】搞計算機視覺必備的OpenCV入門基礎
第六期：【AI白身境】只會用Python？g++，CMake和Makefile了解一下
第七期：【AI白身境】學深度學習你不得不知的爬蟲基礎
第八期：?【AI白身境】深度學習中的數據可視化
第九期：【AI白身境】入行AI需要什么數學基礎：左手矩陣論，右手微積分
第十期：【AI白身境】一文覽盡計算機視覺研究方向
第十一期：【AI白身境】AI+，都加在哪些應用領域了
第十二期：【AI白身境】究竟誰是paper之王，全球前10的計算機科學家
AI初識境系列完整閱讀
第一期：【AI初識境】從3次人工智能潮起潮落說起
第二期：【AI初識境】從頭理解神經網絡-內行與外行的分水嶺
第三期：【AI初識境】近20年深度學習在圖像領域的重要進展節點
第四期：【AI初識境】激活函數：從人工設計到自動搜索
第五期：【AI初識境】什么是深度學習成功的開始？參數初始化
第六期：【AI初識境】深度學習模型中的Normalization，你懂了多少？
第七期：【AI初識境】為了圍剿SGD大家這些年想過的那十幾招
第八期：【AI初識境】被Hinton，DeepMind和斯坦福嫌棄的池化，到底是什么？
第九期：【AI初識境】如何增加深度學習模型的泛化能力
第十期：【AI初識境】深度學習模型評估，從圖像分類到生成模型
第十一期：【AI初識境】深度學習中常用的損失函數有哪些？
第十二期：【AI初識境】給深度學習新手開始項目時的10條建議
感謝各位看官的耐心閱讀，不足之處希望多多指教。后續內容將會不定期奉上，歡迎大家關注有三公眾號 有三AI！
總結
以上是生活随笔為你收集整理的【AI初识境】被Hinton，DeepMind和斯坦福嫌弃的池化，到底是什么？的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 【AI初识境】为了围剿SGD大家这些年想
- 下一篇： 深度学习的150多篇文章和10多个专栏推