據(jù)我所知，沒有一個(gè)API也沒有專門用于檢測異常值的包，因?yàn)閿?shù)據(jù)本身因應(yīng)用程序而異 . 然而，有幾種已知的方法都有助于識(shí)別異常值 . 讓我們首先看看術(shù)語異常值的含義，它只是指超出觀察范圍/范圍的極值 . 如何看待這些異常值的一個(gè)很好的例子是，當(dāng)以直方圖方式或散點(diǎn)圖可視化數(shù)據(jù)時(shí)，它們可以強(qiáng)烈地影響靜態(tài)并且壓縮有意義的數(shù)據(jù) . 或者它們可以被視為對數(shù)據(jù)統(tǒng)計(jì)匯總的強(qiáng)烈影響 . 例如在使用平均值或標(biāo)準(zhǔn)偏差之后 . 這肯定會(huì)產(chǎn)生誤導(dǎo)，當(dāng)我們使用包含異常值的訓(xùn)練數(shù)據(jù)時(shí)會(huì)有危險(xiǎn)，訓(xùn)練將花費(fèi)更長的時(shí)間，因?yàn)槟Ｐ蜁?huì)在超出范圍的值上掙扎，因此我們會(huì)得到一個(gè)不太準(zhǔn)確的模型，結(jié)果很差或“從不收斂客觀測量”，即將測試和訓(xùn)練的輸出/得分與訓(xùn)練時(shí)間或某些準(zhǔn)確度值范圍進(jìn)行比較 .

雖然通常將異常值作為數(shù)據(jù)中的不良實(shí)體，但它們?nèi)匀豢梢院炇甬惓?#xff0c;并且它們的檢測本身將成為發(fā)現(xiàn)欺詐或提高安全性的方法 .

這里有一些k自己的異常值檢測方法(更多細(xì)節(jié)可以在這個(gè)好的article中找到)：

極值分析，

概率統(tǒng)計(jì)模型，

線性模型：減少數(shù)據(jù)維度，

基于鄰近的模型：主要使用聚類 .

對于代碼，我建議從mapr這個(gè)好tutorial . 希望這個(gè)答案有所幫助 . 祝好運(yùn) .

總結(jié)

以上是生活随笔為你收集整理的java中检测数据波动_在pyspark数据帧中检测异常值的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。