深入理解BatchNorm

https://www.cnblogs.com/guoyaohua/p/8724433.html

https://www.cnblogs.com/tangweijqxx/p/10678935.html

合bn的原因

在訓練深度網絡模型時，BN（Batch Normalization）層能夠加速網絡收斂，并且能夠控制過擬合，一般放在卷積層之后。BN 層將數據歸一化后，能夠有效解決梯度消失與梯度爆炸問題。雖然 BN 層在訓練時起到了積極作用，然而，在網絡前向推斷時多了一些層的運算，影響了模型的性能，且占用了更多的內存或者顯存空間。目前，很多先進的網絡模型（ResNet，MobileNet，Xception，ShuffleNet 等）都使用了BN技術，因此，我們有必要將 BN 層的參數合并到卷積層，來提升模型前向推斷的速度。

BN層與卷積層合并的公式推導

?

?

?

總結

以上是生活随笔為你收集整理的深入理解BN、合并conv+BN公式推导的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。