MSE 和 MAE
兩種損失函數的性質
異常值
MSE對異常值敏感,因為它的懲罰是平方的,所以異常值的loss會非常大。
MAE對異常之不敏感,
不妨設擬合函數為常數,那么MSE就相當于所有數據的均值(列出loss對c求導即可),而MAE相當于所有數據的中位數,所以會對異常值不敏感。
優化效率
MAE不可導而且所有的導數的絕對值都相同,優化時無法確定更新速度,
MSE可導,有closed-form解,只需要令偏導數為0即可。
如何選擇
如果想要檢測異常值則使用MSE,如果想學習一個預測模型則建議使用MAE,或者先進行異常值處理再使用MSE
總結
- 上一篇: 电驴提示“该内容尚未提供权利证明,无法提
- 下一篇: 一个人的朝圣深度感悟_朝圣之末找到更强大