日前，由又拍云舉辦的大數據與 AI 技術實踐｜Open Talk 杭州站沙龍在杭州西溪科創園順利舉辦。本次活動邀請了有贊、個推、方得智能、又拍云等公司核心技術開發者，現場分享各自領域的大數據技術經驗和心得。以下內容整理自個推資深算法工程師令狐沖現場分享：

令狐沖（花名），個推資深算法工程師，目前負責個推深度學習相關研發工作，對 AI 算法有深入的了解及豐富的實踐經驗，擅長將大數據分析與深度學習神經網絡相結合，為業務落地輸出算法產品化能力。

大家好，我是來自個推的令狐沖，今天主要分享大數據中的異常值檢測和實戰應用，圍繞研究背景、異常值檢測方法、異常檢測實戰應用等話題，結合相關實戰數據介紹異常值檢測算法的最新進展情況。

研究背景

異常值檢測是大數據分析中一個重要的研究方向，實時異常值自動檢測有助于運營人員快速發現系統異常問題。我們常說的異常值通常是相對于正常值來表述的，要結合實際業務來講一個值是否正常，也就說這是一個業務描述。如果我們要解決一個業務問題，首先要做的就是將這個問題數學化，將業務描述轉化為數學描述，這樣你才可以使用適合的算法或使用其他分析方法來解決。

對于異常值而言，從數學上看可以看做一個離群點。當然在實際業務中，考慮到業務的結合情況不同，有些異常值看似是離群點，但是從全局業務上看也可能是一個正常值。具體情況需要結合結果來分析，不過我們大致可以使用離群點來代表異常值。

上圖為異常值描述圖，從圖中我們可以看到在回歸時有一些值不在回歸線上，這些就是離群點。當我們在做聚類或分類的時候，這些孤立的值可能就是我們的異常值。

異常值檢測相比其他人熱門項目而言是一個比較小眾的方向，但是它在流量監控、金融欺詐、系統故障檢測等場景下也是有較多應用的：

• 流量監控：運維同學平常都比較關心流量檢測，比如當服務訪問出現異常的時候，需要第一時間找出問題

• 金融場景：金融場景涉及到的東西很多，因此異常檢測我們以其中的金融欺詐舉例：正常情況下的金融轉賬或消費是一個低頻事件，但是當一個賬號在短時間內多次轉賬或消費時就可能存在金融詐騙的風險

• 系統故障檢測：這個在工業界用的較多，因為一個工業系統內會安裝各種各樣的傳感器，這些傳感器會實時傳送系統內部件狀態的數據，當這些系統內部件發生故障時往往會產生異常信號，如果能及時檢測出異常信號找出異常原因就可以挽回大量的損失

異常值檢測方法

接下來和大家談一下異常值檢測的方法。業內對于異常值檢測方法都有不同的觀點，總結下來就會有很多的分類，因此今天我們只談我的觀點。在我看來異常值檢測方法可以分為兩種，一種是“基于統計的方法”，稍微了解一點統計的話應該知道，統計是有分布的，比如典型的 3σ 原則和箱體圖；另一種則是“基于模型的方法”，也就是通過構建模型來區分正常值和異常值。

基于統計的異常值檢測

如上圖所示，左圖是我們經常聽到的 3σ 法則，3σ 法則比較簡單但很實用，它是一個經驗法則，具體是什么意思呢？其實 σ 是標準差，當我們檢測數據服從正常的統計分布時，我們可以將超過 3σ 的數據認為是異常數據。它的標準均值為 0，從標準分布圖來看，大約有 0.3% 的數據為異常值。當然如果你的均值是非 0 分布，你可以把均值加上去。不過由于 3σ 法則是一個經驗法則，還是比較粗糙的，因此在實際工作中，建議大家只在某些特定的場景下使用它。

右圖是箱體圖，在數據的統計分析中特別常用，比如我們用 pandas 做處理時就經常使用這個方式處理異常值。如圖所示構成箱體的一般是分界位的四分之一到四分之三，而分界則是左邊箱體的邊界減去箱體長度的某一倍數，通常我們這個倍數為 1.5 倍，異常值則是超過最左邊和最右邊邊界的值。

上圖是兩種統計方式的對應關系。假設數據分布是一個純粹的正態分布，我們可以看到箱體圖對應的 σ 值只有 2.7σ 左右，不到 3σ 。當然很多時候我們并不知道它的具體分布是什么，需要根據樣本的方差、標準差來求 σ，如果你實在不知道是什么分布，可以將它假設為是一個正態分布。因為正態分布是自然界一個比較“和諧“的分布，一般場景中就算有偏差也不會過于離譜。

基于統計的異常值檢測有兩個明顯的優點：一個是是簡單方便，因為我們既不需要考慮它的鮮艷，也不需要考慮它的特殊分布；第二個則是因為這是基于統計學來的，有較好的數學基礎。當然它的缺點也很明顯：首先是需要較多的樣本數據，其次是高維數據比較難處理。上圖展示的是一維分布，處理起來還比較簡單，高維數據中聯合分布會涉及到一些相關性，處理起來就會比較困難。

基于模型的異常值檢測

接下來我們來談一談基于模型的異常值檢測。在我們談具體模型之前，我們需要先知道如果從分類的角度來看正常值和異常值，那它就是一個二分類問題，盡管它因為正常值多而異常值少的原因比常規的二分類問題特殊一些。因此我們可以把它看做一個樣本不均衡、分類不均勻的數學分類問題。

有監督模型

確認了問題類型后，我先具體介紹一下有監督模型，通過這個常見的分類算法，比如 k- 最近鄰，可以知道到底是正常還是異常的標簽。除此外還有典型的二分類模型支持向量機 SVM。同時因為樣本不均衡的原因，也衍生出了 oneclassSVM。

那分類模型具體是如何進行異常值檢測的呢？簡單舉個例子，大家可以看一下上圖。我們常規的 SVM 是使用一個超平面將正負樣本分開。但是如果只有一個類，或者說負樣本極少的時候要怎么辦呢？我可以使用超球面將正樣本包含，然后將超球面以外的當做異常樣本，通過這種方式去進行異常值檢測。

接著說一下現在比較多的神經網絡深度學習的方法是如何用在異常值檢測上的。一般來說神經網絡方法比較多的用在分類問題上，如果你需要將它使用在異常值檢測上，你可以輸入一個樣本值，令其經過一個隱藏層，經過 decoder 層進行編碼得到輸出向量。如果是正常的樣本我們就讓 input 和 output 盡可能的接近，將它壓縮到隱藏層也就是壓縮到一個 code 內，然后用它來進行表征。后續需要通過各種方式，比如均方誤差損失等，訓練網絡減少輸入和輸出的誤差，當這個網絡能夠達到正常值輸入計算結果落實較小、異常值輸入計算結果落實較大時，就可以用來進行異常值檢測了。

上圖我們可以看到右邊對左邊的模型進行了改進，不止是一層編碼層，而是構造了中間的 code 分布，通過這個分布右邊的穩定性會比左邊好。

無監督模型

剛剛介紹的是有監督模型，但是實際上我們做異常值檢測時更多的還是使用無監督模型。因為異常值是很少的，而且還會出現沒有遇到的情況，這就導致你標注的異常點會非常的少。所以我們更多的是通過無監督的學習方法，讓異常值能夠比較完整的表征出來。

無監督模型比較典型的是下列三類：

• 密度聚類：DBSCAN

• 孤立森林：IsolationForest（IF）

• 隨機剪切森林：RadomCutForest（RCF）

密度聚類這里就不用細講了，參考上圖左側，大家可以看一下。

孤立森林最早是由周志華教授團隊提出的，聽名字大家可能覺得和隨機森林或者 adboosting 這些方法相似，其實不止名字相似本質上也和這些方法相似。孤立森林是通過將一些樣本或者一些點構造為多棵樹，讓這些值快速的到達葉子節點，之后根據每個點對應的樹的深度來計算該點的平均深度。由于異常值和其他值不一樣，會出現一些異常的現象，我們就可以通過設置閾值來快速的檢測異常值。

隨機剪切森林是由英文 RadomCutForest 直譯過來的，簡寫為 RCF。它其實和孤立森林的整體思路是相同的，都是經過構造樹來處理。但是因為我們構造樹的時候需要選取樣本，而隨機剪切森林在采樣方法上更好一些，能夠更有效的處理多維度的相關性。同時因為隨機剪切森林有更好的集成模塊，所以在實戰程度上比較推薦使用這個方法。

**剛才也講過隨機剪切森林和孤立森林的整體思路是相同的，那它們之間有什么區別？**大家可以參考下圖了解一下。左邊的公式是一些數學映射，里面 c(n) 代表樣本的平均深度。右圖中的紅線代表 s，也就是最后的異常值得分。藍色曲線是構造的預設正弦曲線，異常值則是在某一時段讓曲線的一段成為直線的部分。

上圖右側上方的圖表展示的是孤立森林算法的結果圖。我們可以看到圖中有兩個異常值，孤立森林算法在計算異常值得分 s 時，對于后面的突變點會有突然增高，這里我們可以設置一個合適的閾值來找出對應的點。

上圖右側下方的圖表展示的是隨機剪切森林算法的結果圖。我們可以明顯看到雖然在整體上比較相似，但是該算法即便是前面較小的跳變點也可以精準找出，這就是隨機剪切森林比孤立森林算法有優勢的地方。

##異常值檢測實戰應用

說完了檢測方法，我們接下來看一下異常值檢測在實戰中的應用。下面是某應用（app）的日活進行監測， 其日活并不是穩定不變的，比如促銷活動時日活會變高，但當日活突然變低時則需要我們去排查是否統計日志或數據流本身出了問題。

上圖是某應用 2016 年 8 月到 2019 年 9 月的日活統計。這么直接一看就可以看到它有很多的突變點，這些點可能就是它的異常行為。而異常值檢測要做的就是使用統計或者機器學習的方法將這些異常點找出來。

當成靜止數據時的異常值檢測

上圖是將之前的日活統計當成整體數據后檢測的結果，這是一個靜止的數據。我們可以看到左圖 3σ 法則的檢測效果并不好，只檢測出了少數的幾個點；而右圖使用孤立森林算法則的優勢則可以很明顯的看到，它基本能夠將人眼看到的異常全部檢測出來，而且還有一些人眼沒看到需要局部放大才能發現的數據，它也能夠檢測出來。

當成流式數據時的異常值檢測

在實際操作中我們會遇到很多流失數據的情況，不能夠單純的將數據當做靜止的均值數據看，所以我們現在來看一下流式數據的異常值檢測。

在檢測實時數據時，基于統計的方法可以使用滑動窗方式來檢測，讓窗去滑動更新，而我們只需要統計窗的情況就好。使用這種方式后 3σ 法則就可以將絕大部分的突變點都檢測出來了，當然很明顯的可以看到右圖中使用 RCF（隨機剪切森林算法能夠檢測到的突變點更多，不過現在這張圖我沒有放大，但是 RCF 其實將局部的小異常也檢測出來了。

**無論是靜止數據還是流式數據，我們都可以明顯看到基于 RCF 的方法檢測的更準確一些，但是這并不代表我們可以完全放棄基于統計的方法。**當我們在檢測那些數據量很大而且異常點的損失較少的數據時，我們仍然可以使用基于統計的方法。雖然它的精準度不如 RCF，但是它操作簡單。目前大多數沒有接觸異常值檢測的公司使用的都是基于統計的方法，通過設置一個 3σ 閾值或使用箱體圖來進行異常值判斷。而在對異常值檢測有較深接觸后，RCF 就成為了異常檢測的主流。

下圖是基于不同異變點所作的算法總結：

• 時序變點異常：對于這種時間點的突變，使用統計算法就可以比較好的檢測出來；

• 時序折點異常：對于這種不是一個點的跳動而是臺階式跳動的異常，可以使用 RCF（隨機剪切森林） 算法來檢測；

• 時序周期異常：對于這種周期異常的檢測，推薦的檢測方法是流式圖算法。這里說的圖算法其實是指圖神經網絡。這點我之前并沒有提到，是因為目前圖算法還處于一個初步階段，它的研究并不成熟，把圖神經網絡和異常值檢測結合起來的運用還特別的少。但是因為圖神經網絡現在的發展很快，所以在未來它一定會在異常值檢測方面有很好的效果。

講到現在其實我們已經看了很多具體的算法例子，但是如果一定要說哪種算法最好，沒有辦法給出一個唯一答案，畢竟具體的選擇需要和你的實際業務結合起來，合適才是最好的。

總結

以上是生活随笔為你收集整理的个推异常值检测和实战应用的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。