batch normalization是對每個(gè)batch的數(shù)據(jù)在每一層進(jìn)行z-score標(biāo)準(zhǔn)化，z-score標(biāo)準(zhǔn)化相當(dāng)于讓數(shù)據(jù)符合標(biāo)準(zhǔn)正態(tài)分布

歸一化：

1、把數(shù)變?yōu)?#xff08;0，1）之間的小數(shù)
主要是為了數(shù)據(jù)處理方便提出來的，把數(shù)據(jù)映射到0～1范圍之內(nèi)處理，更加便捷快速。
2、把有量綱表達(dá)式變?yōu)闊o量綱表達(dá)式
歸一化是一種簡化計(jì)算的方式，即將有量綱的表達(dá)式，經(jīng)過變換，化為無量綱的表達(dá)式，成為純量。

歸一化算法有：

1.線性轉(zhuǎn)換

　 ?y=(x-MinValue)/(MaxValue-MinValue)

２.對數(shù)函數(shù)轉(zhuǎn)換：

?????y=log10(x)

３.反余切函數(shù)轉(zhuǎn)換

?????y=atan(x)*2/PI

４.線性也與對數(shù)函數(shù)結(jié)合

?????式(1)將輸入值換算為[-1,1]區(qū)間的值，

?????在輸出層用式(2)換算回初始值，其中和分別表示訓(xùn)練樣本集中負(fù)荷的最大值和最小值。

標(biāo)準(zhǔn)化

數(shù)據(jù)的標(biāo)準(zhǔn)化是將數(shù)據(jù)按比例縮放，使之落入一個(gè)小的特定區(qū)間。由于信用指標(biāo)體系的各個(gè)指標(biāo)度量單位是不同的，為了能夠?qū)⒅笜?biāo)參與評(píng)價(jià)計(jì)算，需要對指標(biāo)進(jìn)行規(guī)范化處理，通過函數(shù)變換將其數(shù)值映射到某個(gè)數(shù)值區(qū)間。

標(biāo)準(zhǔn)化算法有：

1.z-score標(biāo)準(zhǔn)化(或零－均值標(biāo)準(zhǔn)化)（常用）

　y=(x-X的平均值)／X的標(biāo)準(zhǔn)差=(x-mean)/std?

? 優(yōu)點(diǎn)：當(dāng)X的最大值和最小值未知，或孤立點(diǎn)左右了最大－最小規(guī)范化時(shí)，該方法有用

2.最小－最大規(guī)范化(線性變換)

? ?y=( (x-MinValue) / (MaxValue-MinValue) )(new_MaxValue-new_MinValue)+new_minValue

３.小數(shù)定標(biāo)規(guī)范化：通過移動(dòng)X的小數(shù)位置來進(jìn)行規(guī)范化

　 y= x/10的j次方　　(其中,j使得Max(|y|) <1的最小整數(shù)

４.對數(shù)Logistic模式：

? ? 新數(shù)據(jù)=1/（1+e^(-原數(shù)據(jù))）

５.模糊量化模式：

? ? 新數(shù)據(jù)=1/2+1/2sin[派3.1415/（極大值-極小值）*（X-（極大值-極小值）/2）?]???????X為原數(shù)據(jù)

總結(jié)

以上是生活随笔為你收集整理的数据归一化、标准化的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。