【AI不惑境】网络深度对深度学习模型性能有什么影响？
大家好，這是專欄《AI不惑境》的第二篇文章，講述模型深度與模型性能的關系。
進入到不惑境界，就是向高手邁進的開始了，在這個境界需要自己獨立思考。如果說學習是一個從模仿，到追隨，到創造的過程，那么到這個階段，應該躍過了模仿和追隨的階段，進入了創造的階段。從這個境界開始，講述的問題可能不再有答案，更多的是激發大家一起來思考。
作者&編輯 | 言有三
深度學習模型之所以在各種任務中取得了成功，足夠的網絡深度起到了很關鍵的作用，那么是不是模型越深，性能就越好呢？
?
1 為什么加深可以提升性能
Bengio和LeCun在2017年的文章[1]中有這么一句話，"We claim that most functions that can be represented compactly by deep architectures cannot be represented by a compact shallow architecture"，大體意思就是大多數函數如果用一個深層結構剛剛好解決問題，那么就不可能用一個更淺的同樣緊湊的結構來解決。
要解決比較復雜的問題，要么增加深度，要么增加寬度，而增加寬度的代價往往遠高于深度。
Ronen Eldan等人甚至設計了一個能被小的3層網絡表示，而不能被任意的2層網絡表示的函數。總之，一定的深度是必要的。
那么隨著模型的加深，到底有哪些好處呢？
1.1、更好擬合特征。
現在的深度學習網絡結構的主要模塊是卷積，池化，激活，這是一個標準的非線性變換模塊。更深的模型，意味著更好的非線性表達能力，可以學習更加復雜的變換，從而可以擬合更加復雜的特征輸入。
看下面的一個對比圖[2]，實線是一個只有一層，20個神經元的模型，虛線是一個2層，每一層10個神經元的模型。從圖中可以看出，2層的網絡有更好的擬合能力，這個特性也適用于更深的網絡。
1.2、網絡更深，每一層要做的事情也更加簡單了。
每一個網絡層各司其職，我們從zfnet反卷積看一個經典的網絡各個網絡層學習到的權重。
第一層學習到了邊緣，第二層學習到了簡單的形狀，第三層開始學習到了目標的形狀，更深的網絡層能學習到更加復雜的表達。如果只有一層，那就意味著要學習的變換非常的復雜，這很難做到。
?
2 如何定量評估深度與模型性能
上面就是網絡加深帶來的兩個主要好處，更強大的表達能力和逐層的特征學習。
理論上一個2層的網絡可以擬合任何有界的連續函數，但是需要的寬度很大，這在實際使用中不現實，因此我們才會使用深層網絡。
我們知道一個模型越深越好，但是怎么用一個指標直接定量衡量模型的能力和深度之間的關系，就有了直接法和間接法兩種方案。
直接法便是定義指標理論分析網絡的能力，間接法便是通過在任務中的一系列指標比如準確率來進行比較等。
2.1、直接法
早期對淺層網絡的研究，通過研究函數的逼近能力，和布爾電路的比較，網絡的VC維度等進行評估，但是并不適用于深層網絡。
目前直接評估網絡性能一個比較好的研究思路是線性區間(linear regions)。可以將神經網絡的表達看作是一個分段線性函數，如果要完美的擬合一個曲線，就需要無數多的線性區間(linear regions)。線性區間越多，說明網絡越靈活。
Yoshua Bengio等人就通過線性區間的數量來衡量模型的靈活性。一個更深的網絡，可以將輸入空間分為更多的線性響應空間，它的能力是淺層網絡的指數級倍。
對于一個擁有n0個輸入，n個輸出，kn個隱藏層的單層網絡，其最大數量為：
對于擁有同樣多的參數，n0個輸入，n個輸出，k個隱藏層，每一層n個節點的多層網絡，其最大數量為：
因為n0通常很小，所以多層網絡的數量是單層的指數倍(體現在k上)，計算方法是通過計算幾何學來完成，大家可以參考論文[3]。
除此之外還有一些其他的研究思路，比如monica binachini[4]等使用的betti number，Maithra Raghu等提出的trajectory length[5]。
雖然在工程實踐中這些指標沒有多少意義甚至不一定有效，但是為我們理解深度和模型性能的關系提供了理論指導。
2.2、間接法
間接法就是展現實驗結果了，網絡的加深可以提升模型的性能，這幾乎在所有的經典網絡上都可以印證。比較不同的模型可能不夠公平，那就從同一個系列的模型來再次感受一下，看看VGG系列模型，ResNet系列模型，結果都是從論文中獲取。
在一定的范圍內，網絡越深，性能的確越好。
?
3 加深就一定更好嗎？
前面說到加深在一定程度上可以提升模型性能，但是未必就是網絡越深越越好，我們從性能提升和優化兩個方面來看。
3.1、加深帶來的優化問題
ResNet為什么這么成功，就是因為它使得深層神經網絡的訓練成為可行。雖然好的初始化，BN層等技術也有助于更深層網絡的訓練，但是很少能突破30層。
VGGNet19層，GoogleNet22層，MobileNet28層，經典的網絡超過30層的也就是ResNet系列常見的ResNet50，ResNet152了。雖然這跟后面ImageNet比賽的落幕，大家開始追求更加高效實用的模型有關系，另一方面也是訓練的問題。
深層網絡帶來的梯度不穩定，網絡退化的問題始終都是存在的，可以緩解，沒法消除。這就有可能出現網絡加深，性能反而開始下降。
3.2、網絡加深帶來的飽和
網絡的深度不是越深越好，下面我們通過幾個實驗來證明就是了。公開論文中使用的ImageNet等數據集研究者已經做過很多實驗了，我們另外選了兩個數據集和兩個模型。
第一個數據集是GHIM數據集，第二個數據集是從Place20中選擇了20個類別，可見兩者一個比較簡單，一個比較困難。
第一個模型就是簡單的卷積+激活的模型，第二個就是mobilenet模型。
首先我們看一下第一個模型的基準結構，包含5層卷積和一個全連接層， 因此我們稱其為allconv6吧，表示深度為6的一個卷積網絡。
接下來我們試驗各種配置，從深度為5到深度為8，下面是每一個網絡層的stride和通道數的配置。
我們看結果，優化都是采用了同一套參數配置，而且經過了調優，具體細節篇幅問題就不多說了。
看的出來網絡加深性能并未下降，但是也沒有多少提升了。allconv5的性能明顯更差，深度肯定是其中的一個因素。
我們還可以給所有的卷積層后添加BN層做個試驗，結果如下，從allconv7_1和allconv8_1的性能相當且明顯優于allconv6可以得出與剛才同樣的結論。
那么，對于更加復雜的數據集，表現又是如何呢？下面看在place20上的結果，更加清晰了。
allconv5，allconv6結果明顯比allconv7，allconv8差，而allconv7和allconv8性能相當。所以從allconv這個系列的網絡結構來看，隨著深度增加到allconv7，之后再簡單增加深度就難以提升了。
接下來我們再看一下不同深度的mobilenet在這兩個數據集上的表現，原始的mobilenet是28層的結構。
不同深度的MobileNet在GHIM數據集的結果如下：
看得出來當模型到16層左右后，基本就飽和了。
不同深度的MobileNet在Place20數據集的結果如下：
與GHIM的結果相比，深度帶來的提升更加明顯一些，不過也漸趨飽和。
這是必然存在的問題，哪有一直加深一直提升的道理，只是如何去把握這個深度，尚且無法定論，只能依靠更多的實驗了。
除此之外，模型加深還可能出現的一些問題是導致某些淺層的學習能力下降，限制了深層網絡的學習，這也是跳層連接等結構能夠發揮作用的很重要的因素。
關于網絡深度對模型性能的影響，這次就先說這么多。
[1] Bengio Y, LeCun Y. Scaling learning algorithms towards AI[J]. Large-scale kernel machines, 2007, 34(5): 1-41.
[2] Montufar G F, Pascanu R, Cho K, et al. On the number of linear regions of deep neural networks[C]//Advances in neural information processing systems. 2014: 2924-2932.
[3] Pascanu R, Montufar G, Bengio Y. On the number of response regions of deep feed forward networks with piece-wise linear activations[J]. arXiv preprint arXiv:1312.6098, 2013.
[4] Bianchini M, Scarselli F. On the complexity of neural network classifiers: A comparison between shallow and deep architectures[J]. IEEE transactions on neural networks and learning systems, 2014, 25(8): 1553-1565.
[5] Raghu M, Poole B, Kleinberg J, et al. On the expressive power of deep neural networks[C]//Proceedings of the 34th International Conference on Machine Learning-Volume 70. JMLR. org, 2017: 2847-2854.
?
總結
深度學習的名字中就帶著“深”，可見深度對模型的重要性。這一次我們講述了深度對模型帶來提升的原理，如何定量地評估深度對模型性能的貢獻，以及加深網絡會遇到的問題。
下期預告：模型的寬度對性能的影響。
AI白身境系列完整閱讀：
第一期：【AI白身境】深度學習從棄用windows開始
第二期：【AI白身境】Linux干活三板斧，shell、vim和git
第三期：【AI白身境】學AI必備的python基礎
第四期：【AI白身境】深度學習必備圖像基礎
第五期：【AI白身境】搞計算機視覺必備的OpenCV入門基礎
第六期：【AI白身境】只會用Python？g++，CMake和Makefile了解一下
第七期：【AI白身境】學深度學習你不得不知的爬蟲基礎
第八期：?【AI白身境】深度學習中的數據可視化
第九期：【AI白身境】入行AI需要什么數學基礎：左手矩陣論，右手微積分
第十期：【AI白身境】一文覽盡計算機視覺研究方向
第十一期：【AI白身境】AI+，都加在哪些應用領域了
第十二期：【AI白身境】究竟誰是paper之王，全球前10的計算機科學家
AI初識境系列完整閱讀
第一期：【AI初識境】從3次人工智能潮起潮落說起
第二期：【AI初識境】從頭理解神經網絡-內行與外行的分水嶺
第三期：【AI初識境】近20年深度學習在圖像領域的重要進展節點
第四期：【AI初識境】激活函數：從人工設計到自動搜索
第五期：【AI初識境】什么是深度學習成功的開始？參數初始化
第六期：【AI初識境】深度學習模型中的Normalization，你懂了多少？
第七期：【AI初識境】為了圍剿SGD大家這些年想過的那十幾招
第八期：【AI初識境】被Hinton，DeepMind和斯坦福嫌棄的池化，到底是什么？
第九期：【AI初識境】如何增加深度學習模型的泛化能力
第十期：【AI初識境】深度學習模型評估，從圖像分類到生成模型
第十一期：【AI初識境】深度學習中常用的損失函數有哪些？
第十二期：【AI初識境】給深度學習新手開始項目時的10條建議
AI不惑境系列完整閱讀：
第一期：【AI不惑境】數據壓榨有多狠，人工智能就有多成功
第二期：【AI不惑境】網絡深度對深度學習模型性能有什么影響？
如果想加入我們，后臺留言吧
轉載文章請后臺聯系
侵權必究
感謝各位看官的耐心閱讀，不足之處希望多多指教。后續內容將會不定期奉上，歡迎大家關注有三公眾號 有三AI！
總結
以上是生活随笔為你收集整理的【AI不惑境】网络深度对深度学习模型性能有什么影响？的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 【图像分割模型】快速道路场景分割—ENe
- 下一篇： 【杂谈】梦想与饼干，AI是你的谁？