MXnet LayerNorm

?

pytorch LayerNorm

說明

LayerNorm中不會像BatchNorm那樣跟蹤統(tǒng)計全局的均值方差，因此train()和eval()對LayerNorm沒有影響。

LayerNorm參數

torch.nn.LayerNorm(normalized_shape: Union[int, List[int], torch.Size],eps: float = 1e-05,elementwise_affine: bool = True)

normalized_shape

如果傳入整數，比如4，則被看做只有一個整數的list，此時LayerNorm會對輸入的最后一維進行歸一化，這個int值需要和輸入的最后一維一樣大。

• 假設此時輸入的數據維度是[3, 4]，則對3個長度為4的向量求均值方差，得到3個均值和3個方差，分別對這3行進行歸一化（每一行的4個數字都是均值為0，方差為1）；LayerNorm中的weight和bias也分別包含4個數字，重復使用3次，對每一行進行仿射變換（仿射變換即乘以weight中對應的數字后，然后加bias中對應的數字），并會在反向傳播時得到學習。

如果輸入的是個list或者torch.Size，比如[3, 4]或torch.Size([3, 4])，則會對網絡最后的兩維進行歸一化，且要求輸入數據的最后兩維尺寸也是[3, 4]。

• 假設此時輸入的數據維度也是[3, 4]，首先對這12個數字求均值和方差，然后歸一化這個12個數字；weight和bias也分別包含12個數字，分別對12個歸一化后的數字進行仿射變換（仿射變換即乘以weight中對應的數字后，然后加bias中對應的數字），并會在反向傳播時得到學習。
• 假設此時輸入的數據維度是[N, 3, 4]，則對著N個[3,4]做和上述一樣的操作，只是此時做仿射變換時，weight和bias被重復用了N次。
• 假設此時輸入的數據維度是[N, T, 3, 4]，也是一樣的，維度可以更多。

注意：顯然LayerNorm中weight和bias的shape就是傳入的normalized_shape。

eps

歸一化時加在分母上防止除零。

elementwise_affine

如果設為False，則LayerNorm層不含有任何可學習參數。

如果設為True（默認是True）則會包含可學習參數weight和bias，用于仿射變換，即對輸入數據歸一化到均值0方差1后，乘以weight，即bias。

LayerNorm前向傳播（以normalized_shape為一個int舉例）

如下所示輸入數據的shape是(3, 4)，此時normalized_shape傳入4（輸入維度最后一維的size），則沿著最后一維（沿著最后一維的意思就是對最后一維的數據進行操作）求和，并用這兩個結果把batch沿著最后一維歸一化，使其均值為0，方差為1。歸一化公式用到了eps()，即。 tensor = torch.FloatTensor([[1, 2, 4, 1],[6, 3, 2, 4],[2, 4, 6, 1]]) 此時，（有偏樣本方差），歸一化后的值如下，舉例說明：第0行第2列的數字4，減去第0行的均值2.0等于2，然后除以即2/1.224749≈1.6330。 [[-0.8165, 0.0000, 1.6330, -0.8165],[ 1.5213, -0.5071, -1.1832, 0.1690],[-0.6509, 0.3906, 1.4321, -1.1717]]

?

如果elementwise_affine==True，則對歸一化后的batch進行仿射變換，即乘以模塊內部的weight（初值是[1., 1., 1., 1.]）然后加上模塊內部的bias（初值是[0., 0., 0., 0.]），這兩個變量會在反向傳播時得到更新。

如果elementwise_affine==False，則LayerNorm中不含有weight和bias兩個變量，只做歸一化，不會進行仿射變換。

?

內容部分來自 ：https://blog.csdn.net/weixin_39228381/article/details/107939602

總結

以上是生活随笔為你收集整理的LayerNorm的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。