第2章 数据归一化
問題:樣本間的距離被發現時間所主導!
數據歸一化的目的,就是將數據的所有特征都映射到同一尺度上,這樣可以避免由于量綱的不同使數據的某些特征形成主導作用。數據歸一化的方法主要有兩種:最值歸一化和均值方差歸一化。
1.最值歸一化(normalizationnormalizationnormalization):把所有數據映射到0-1之間。
xscale=x?xminxmax?xminx_{scale}=\frac{x-x_{min}}{x_{max}-x_{min}}xscale?=xmax??xmin?x?xmin??,適用于分布沒有明顯邊界的情況;受outlier影響較大,異常值會造成數據的整體偏斜
2.均值方差歸一化(standardizationstandardizationstandardization):把所有數據歸一到均值為0方差為1的分布中
數據分布沒有明顯的邊界;有可能存在極端數據值,不容易受異常值(outlier)影響
xscale=x?xmeansx_{scale}=\frac{x-x_{mean}}{s}xscale?=sx?xmean??
3.向量和矩陣的最值歸一化
對測試數據集如何進行歸一化?不能直接求mean_test,std_test!!!應該使用訓練數據集求得的mean_train,std_train
要保存訓練數據集得到的均值和方差,scikit-learn中使用Scaler
總結
- 上一篇: 第3章 衡量线性回归的指标:MSE,RM
- 下一篇: 正则表达式re模块