作者簡介——何凱明

2003 年廣東省理科高考狀元（2000后的業界翹楚的狀元郎），2016年前在微軟亞洲研究院，2016后在Facebbok AI 研究院。
知名論文：

motivation

研究人員開始意識到在深度神經網絡里面，深度depth是影響網絡性能最重要的一個元素。但是簡單的在淺層網絡堆疊新的神經層的做法會有問題：

隨著網絡層次的加深，研究人員發現網絡越深 train error反而更大了。這種現象叫做神經網絡的degradation,也就是說越深的網絡其訓練能力還不如相對淺層的網絡。Figure1就說明了這一點，在CIFAR-10數據集上，56層的網絡還不如20層的網絡。

層數加深，所需要的計算資源加大。

為了解決上述問題，一個na?ve的想法是：在淺層網絡的基礎上再加一層網絡，只不過這層網絡很特殊：它是一個恒等映射，相當于就是把原淺層網絡的輸出原模原樣的在本層輸出。因為它是一個恒等映射層，所以他的訓練誤差啥的不會比淺層網絡更差。

但是這種na?ve 的方法是指望網絡自己把這新加的一層學成一個恒等映射。這是相當困難的。

方法

為了解決超深的神經網絡的degradation的問題，何凱明在那個na?ve 的思想的基礎上，提出顯式指定新加這一層就是個近似恒等映射 而不是去指望網絡自己會擬合成一個恒等映射的思想。他把這個叫做殘差學習。

換句話說：原來na?ve 的想法是讓新的一層學習得到一個函數$F(x)$,只不過我們想讓$F(x)=H(x)$,其中$H(x)=x+?$ 是個近似恒等映射。

現在何凱明變化一個思路，讓這個新的層學習到的函數為：$F(x)=H(x)?x$,$H(x)$ 是我們想要學習的目標函數，而$F(x)$是網絡擬合的結果。當$F(x)$趨于零的時候，$H(x)?x\approx 0$,那么我們就可以得到一個近似的恒等映射了。

Figure2 圖顯示了殘差網絡的核心結構。$x$是原來淺層網絡的輸入，后面兩層是
新加的網絡。這個網絡學的一個函數$F(x)$然后在輸出的地方讓$F(x)$逐元素與$x$相加。這么做的好處：與na?ve 方法相比$F(x)$更容易趨于0。

實驗結果

resnet與plain-net

plainnet指的是那種直接不斷堆疊網絡層的深度網絡，沒有使用殘差的那種網絡。


Resnet在網絡深度加深的時候，不會出現degradation的問題。
當網絡不是很深的時候，例如網絡為18層，resnet和普通的網絡泛化能力類似。但是resnet在訓練前期會更快收斂。然而最終他們收斂使用的時間是差不多的。

不同加和方法的影響

如Figure 2所示，resnet有一個$F(x)+x$的操作，當$F(x)$與$x$的維度相同的時候
可以直接逐元素加。但如果$F(x)$與$x$維度不同時，有兩種策略

在$x$的尾部進行填充0，填充到與$F(x)$相同長度在逐元素相加，這種方式不會引入新的參數。

$x$左乘一個矩陣$W$，通過線性變換映射到與$F(x)$相同維度。但是這種方法更合理，但是會引入新的待訓練的權值矩陣，增加計算量。

Table3 第二部分：

• A:使用填充方法加和
• B:在F(x)與X維度不同時，使用線性變換的方法加和。
• C:不管F(x)，x維度是否相同，加和前都讓x線性變換到與F(x)同維度。

結果顯示差別不大，還是使用A方式比較好，不會增大計算量。

ImageNet 2015測試結果

分析：

ResNet-34層模型就快追上Inception V1.

ResNet-152層效果最好。

其他任務

作者又拿著ResNet去CIFAR-10上跑了。為的是驗證殘差網絡是通用的，而不僅僅只適用于ImageNet這一個數據集。

實驗結果很好，resNet 32層就吊打其他最好模型了。

ResNet達到1202層后，出現了過擬合。因為他的測試誤差比restNet 110 更大。

ResNet的優點

簡潔。在實際使用的時候 resNet 更多是一種思路，把本層的輸入不僅僅是上一層的輸出，還可以把上一層的輸入也拿過來。這種思路很容易編碼實現，而且基于填充的加和方法還不會引入新的訓練參數。很多以往的網絡結構都可以很容易的加上殘差。

提供了訓練超深神經網絡的有力武器。當網絡性能不好使的時候，直接無腦加大深度就行了，不用再像Inception那樣精心設計一些結構復雜的網絡結構。

啟發

深度網絡里面使用resNet，然后加大深度，其效果可以遠遠好于精心設計的Inception 網絡。

對于na?ve 方法和作者提出的方法，我們可以看出 有的時候我們可以顯式的指導網絡的訓練方向，而不是讓網絡自己去隱式的學習。網絡隱式學習的時候，學習的太發散了，以至于難以學習到有效的結構。

作者提出的resnet 其實是把恒等映射這個高級先驗知識融入到網絡之中。我們在發掘idea的時候，是不是可以走這條路子？把高級的先驗知識，特征知識融入網絡。這種知識不是低級的特征工程的知識。

總結

以上是生活随笔為你收集整理的ResNet残差网络——Deep Residual Learning for image recongnition的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。