論文鏈接

The popular belief is that this effectiveness stems from controlling the change of the layers’ input distributions during training to reduce the so-called“internal covariate shift”. In this work, we demonstrate that such distributionalstability of layer inputs has little to do with the success of BatchNorm. Instead,we uncover a more fundamental impact of BatchNorm on the training process: it makes the optimization landscape significantly smoother. This smoothness inducesa more predictive and stable behavior of the gradients, allowing for faster training.

• 普遍的看法是，這種有效性源于在訓練期間控制層輸入分布的變化以減少所謂的“內(nèi)部協(xié)方差偏移”。 在這項工作中，我們證明了這種分布式層輸入的穩(wěn)定性與 BatchNorm 的成功無關。

• 我們發(fā)現(xiàn)了 BatchNorm 對訓練過程的一個更根本的影響：它使優(yōu)化環(huán)境更加順暢。 這種平滑性導致梯度的更具預測性和穩(wěn)定性的行為，允許更快的訓練。

總結

以上是生活随笔為你收集整理的为什么batchnormalize 有效的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。