ResNet殘差網絡,最早的 ResNet 是由 MSRA團隊提出的一個 152 層的網絡，在2015年的 ILSVRC2015 取得了冠軍,比14年的 VGG 和 GoogLeNet 好了不少

隨著網絡越來越深，大家發現，僅僅靠 BN、ReLU、DropOut 等 Trick無法解決收斂問題，相反，網絡的加深帶來參數的增加。
網絡并不是越深越好，一方面過多的參數容易導致過擬合（當然樣本足夠多可以一定程度上解決這個問題）；另一方面，訓練結果會在真值周圍變化，導致網絡震蕩。
在訓練分類器的時候，用到的 GBDT 和 xgBoost 的思維，借助殘差來解決 震蕩問題。

?
每一個節點學到的不再是參數本身，而是殘差，這就決定了網絡有可能無限加深，基線不變，后面的節點學到的是對前面節點的補充，雖然有震蕩，但震蕩范圍越來越小，直到趨于0。
ResNet 的網絡結構借鑒了 HighWay，添加一條從 input到output的路徑，也就是shortcut連接，這是關鍵之處。

?

?

目前幾種常用的ResNet網絡包括：ResNet-50/101/152，當然層數越多計算量越大，基于ResNet的改進我們也提前了解下，包括 Google的 Inception-ResNet-V2， Kaiming 的 ResNeXt等。
https://blog.csdn.net/linolzhang/article/details/71380668

跨層連接(skip connection)，跨連模型允許每層可以與非相鄰層相連：快道網絡、殘差網絡、密連網絡和拼接網絡。

ResNet特點：殘差學習、跳躍連接(恒等映射)

pytorch代碼
BasicBlock和BottleNeck
https://www.cnblogs.com/wzyuan/p/9880342.html

總結

以上是生活随笔為你收集整理的图像分类/识别 ResNet的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。