本文參考的論文?
Deep Residual Learning for Image Recognition?
Identity Mappings in Deep Residual Networks?
Inception-v4， Inception-ResNet and the Impact of Residual Connections on Learning?
Wide Residual Networks

**

Residual Learning

**?
近日，看了Kaiming He的殘差網絡，讓人有種煥然一新的感覺。Deep Residual Learning for Image Recognition是CVPR2016 Best Paper。Kaiming He在CVPR2009也獲得Best Paper， 相比大牛，簡直自慚形穢。

1、問題提出?
在構造深度網絡的時候，人們遇到一個奇怪的現象，叫做網絡退化。所謂的網絡退化，是指在增加層數之后，網絡的表達能力增強，可是訓練精度卻下降了。下圖表示了網絡退化。注意，這并不是overfit的原因，因為訓練精度也隨網絡層數增加而降低。?
于是他提出如下的假設：如果增加的層能夠構建與上一層一樣的輸出，那么該增加一層的網絡訓練精度應該大于等于原來的網絡的訓練精度。簡單的疊加網絡可能學習重構（identity mapping）有一定困難。那么如果我們讓網絡學習殘差會如何呢？?

2、殘差模型?
Residual Network的基本結構如下圖?
?
在此模型中，由于x直接連接到下一層，沒有任何參數，即網絡學習到的是F(x)。

3、實驗結果?
由下圖可見，殘差模型的訓練和測試精度有有明顯的提升。?

在ImageNet上獲得了state-of-the-art結果。同時，在其他數據集以及檢測定位等實驗中也取得了很好的效果。

4、結論?
1）深層殘差比淺層殘差好 （待商榷，因為有一篇Wide Residual Networks）?
2）殘差比非殘差效果好?
3）殘差收斂快

5、個人感慨?
如此簡單而又漂亮的結構與假設，足夠獲得CVPR Best Paper了。能夠觀察出退化現象，并作出精妙的假設，厲害啊！跑這樣的實驗，需要足夠的GPU，做夠的人去做。現在的瓶頸貌似是硬件了。。。

**

Residual learning 后續—Identity Mapping in Deep Residual Networks

**?

改變了ReLU和BN的順序?
Conv->BN->ReLU ====>>>> BN->ReLU->Conv?
然后效果就又提升了。。。?
我不知道為什么，一定是實驗做多了。

**

Residual learning 后續—Inception-v4 Inception-ResNet and the Impact of Residual Connections on Learning

**?
這篇文章將殘差用于Inception-v3，提出了Inception-v4模型，又取得了State-of-the-art result

**

Residual learning 后續—Wide Residual Networks

**?
在深度殘差模型中，可能只有一部分的residual block學到了有用的東西，而另一部分只是單純的復制input到output，因而可以減少層數。下圖是他做的改變?

他把kernel size變大（變寬），增加了dropout。實驗結果達到了深度殘差的精度，而他最多只用了40層。因而也不能說越深越好。

另一個值得關注的是他的計算速度比Kaiming He的速度快，這個是此網絡的另一重要優勢。

總結

以上是生活随笔為你收集整理的Residual Learning的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。