本文內(nèi)容：
1. Xavier 初始化
2. nn.init 中各種初始化函數(shù)
3. He 初始化

torch.init https://pytorch.org/docs/stable/nn.html#torch-nn-init

1. 均勻分布
torch.nn.init.uniform_(tensor, a=0, b=1)
服從~U(a,b) U(a, b)U(a,b)

2. 正太分布
torch.nn.init.normal_(tensor, mean=0, std=1)
服從~N(mean,std) N(mean, std)N(mean,std)

3. 初始化為常數(shù)
torch.nn.init.constant_(tensor, val)
初始化整個(gè)矩陣為常數(shù)val

4. Xavier
基本思想是通過(guò)網(wǎng)絡(luò)層時(shí)，輸入和輸出的方差相同，包括前向傳播和后向傳播。具體看以下博文：

為什么需要Xavier 初始化？
文章第一段通過(guò)sigmoid激活函數(shù)講述了為何初始化？

簡(jiǎn)答的說(shuō)就是：
如果初始化值很小，那么隨著層數(shù)的傳遞，方差就會(huì)趨于0，此時(shí)輸入值 也變得越來(lái)越小，在sigmoid上就是在0附近，接近于線(xiàn)性，失去了非線(xiàn)性
如果初始值很大，那么隨著層數(shù)的傳遞，方差會(huì)迅速增加，此時(shí)輸入值變得很大，而sigmoid在大輸入值寫(xiě)倒數(shù)趨近于0，反向傳播時(shí)會(huì)遇到梯度消失的問(wèn)題
其他的激活函數(shù)同樣存在相同的問(wèn)題。
https://prateekvjoshi.com/2016/03/29/understanding-xavier-initialization-in-deep-neural-networks/

所以論文提出，在每一層網(wǎng)絡(luò)保證輸入和輸出的方差相同。
2. xavier初始化的簡(jiǎn)單推導(dǎo)
https://blog.csdn.net/u011534057/article/details/51673458

對(duì)于Xavier初始化方式，pytorch提供了uniform和normal兩種：

torch.nn.init.xavier_uniform_(tensor, gain=1) 均勻分布 ~ U(?a,a) U(-a,a )U(?a,a)
其中， a的計(jì)算公式：
a=gain×6fan_in+fan_out???????????√ a=gain \times \sqrt{ \frac{6}{fan\_in +fan\_out}}
a=gain×
fan_in+fan_out
6
?

?

torch.nn.init.xavier_normal_(tensor, gain=1) 正態(tài)分布~N(0,std) N(0,std)N(0,std)
其中std的計(jì)算公式：
std=gain×2fan_in+fan_out???????????√ std= gain \times \sqrt{\frac{2}{fan\_in+ fan\_out}}
std=gain×
fan_in+fan_out
2
?

?

5. kaiming (He initialization)
Xavier在tanh中表現(xiàn)的很好，但在Relu激活函數(shù)中表現(xiàn)的很差，所何凱明提出了針對(duì)于Relu的初始化方法。
Delving deep into rectifiers: Surpassing human-level performance on ImageNet classification He, K. et al. (2015)
該方法基于He initialization,其簡(jiǎn)單的思想是：
在ReLU網(wǎng)絡(luò)中，假定每一層有一半的神經(jīng)元被激活，另一半為0，所以，要保持方差不變，只需要在 Xavier 的基礎(chǔ)上再除以2

也就是說(shuō)在方差推到過(guò)程中，式子左側(cè)除以2.
pytorch也提供了兩個(gè)版本：

torch.nn.init.kaiming_uniform_(tensor, a=0, mode=‘fan_in’, nonlinearity=‘leaky_relu’)， 均勻分布 ~ U(?bound,bound) U(?bound,bound)U(?bound,bound)
其中，bound的計(jì)算公式：
bound=6(1+a2)×fan_in?????????√ \text{bound} = \sqrt{\frac{6}{(1 + a^2) \times \text{fan\_in}}}
bound=
(1+a
2
)×fan_in
6
?

?

torch.nn.init.kaiming_normal_(tensor, a=0, mode=‘fan_in’, nonlinearity=‘leaky_relu’), 正態(tài)分布~ N(0,std) N(0,std)N(0,std)

其中，std的計(jì)算公式：
std=2(1+a2)×fan_in?????????√ \text{std} = \sqrt{\frac{2}{(1 + a^2) \times \text{fan\_in}}}
std=
(1+a
2
)×fan_in
2
?

?

兩函數(shù)的參數(shù)：

a：該層后面一層的激活函數(shù)中負(fù)的斜率(默認(rèn)為ReLU，此時(shí)a=0)

mode：‘fan_in’ (default) 或者 ‘fan_out’. 使用fan_in保持weights的方差在前向傳播中不變；使用fan_out保持weights的方差在反向傳播中不變

針對(duì)于Relu的激活函數(shù)，基本使用He initialization，pytorch也是使用kaiming 初始化卷積層參數(shù)的
---------------------
作者：墨氳
來(lái)源：CSDN
原文：https://blog.csdn.net/dss_dssssd/article/details/83959474
版權(quán)聲明：本文為博主原創(chuàng)文章，轉(zhuǎn)載請(qǐng)附上博文鏈接！

總結(jié)

以上是生活随笔為你收集整理的pytorch系列 -- 9 pytorch nn.init 中实现的初始化函数 uniform, normal, const, Xavier, He initialization...的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。