作者| 邊際實驗室

異常檢測是當今金融企業的當務之急，但在內部設計和構建一個真正有效的監測預警系統是一項復雜的任務。

對于金融企業的數據業務來說，對市場數據、客戶交易數據、營銷數據等進行分析，并尋找可能的異常情況已經成為一種業務需求。大多數金融企業已經使用數據分析業務的進展、發現數據中的異常，以節省成本或創造新的業務機會。這是當前技術的一種發展方向：通過數據和指標驅動來衡量當前的業務狀態。

自動異常檢測是一種較為復雜的機器學習技術。可能有成百上千甚至上百萬的標準可以幫助金融企業確定現在正在發生的情景，并且與它過去所看到的或者它期望在未來看到的情景相比較。使用正確預警監測模型的企業甚至可以發現最細微的異常，但是沒有使用正確模型的公司可能會遭遇“誤報風暴”。如果無法發現大量的異常情況，往往會出現大規模的收入損失、客戶投訴、機器故障或商機錯失。

為什么金融企業需要異常檢測

在上億條數據中進行異常檢測十分復雜并充滿技術挑戰，那么為什么我們還要這樣做呢？

在金融市場高速運轉的業務中，許多事情在同時發生，不同的人或角色負責監視這些活動。例如，在系統后臺，IT團隊仔細監視網絡、服務器、通信鏈接等的操作和性能。在應用層級，一個完全不同的監控小組監視其他的類別因素，如市場數據傳輸速度、達成交易時間或用戶體驗等。在業務層級，相關業務人員根據客戶交易的特征來分析產品。

某一領域的異常可能會影響到其他領域，但如果不從整體層面分析這些指標，就可能永遠不會產生關聯。這就是大型異常檢測系統應該做的。

我們拿一個電子商務公司銷售禮品卡得到事件作為說明。我們可以看到，在紅框內，禮品卡的銷量發生了增加，但禮品卡的預期收入卻相應發生了下降。造成這個結果的原因是定價發生了錯誤。如果不把這兩個指標放在一起看，就很難理解，如果不及時發現并處理業務事故，可能會讓公司損失很多錢。這兩個指標之間的關系如下圖所示。

隨著業務的增長，越來越多的事件無法被檢測到，除非有一個異常檢測系統來分析金融企業每個業務可以使用的指標。

如今，大多數金融企業更加依賴于手工檢測異常事件。這有兩種主要的方法:其一是創建儀表板,創建每日/每周市場或交易報告,專人關注這些指標的上升或下降。然后他們調查任何看起來不正常的數據。顯然，這種方法所覆蓋的不能超過十幾個關鍵指標。這會是金融企業方便地發現重大異常，但會錯過許多較小的事件。此外，這需要監控人員知道自己要尋找什么，這樣他們就會錯過那些他們沒有想過要跟蹤或分析的東西。第二種方法是使用一個自動化系統,為每個指標設置上、下閾值。如果數據超出這些閾值，就會生成警報。這種方法的缺點是，設置這些閾值非常復雜，因為必須為每個指標設置閾值，如果有成千上萬個指標，則很難設置閾值。設置閾值需要對每個指標隨時間變化的行為有一個復雜的理解。此外，如果閾值過高或過低，可能會出現大量的假警報，或者相反，出現大量漏掉的異常值。總之，通過設置閾值來發現異常是一項不切實際的工作。

因此，解決方案是自動異常檢測，即計算機查看這些數據，自動、快速地篩選這些數據，指出異常行為，并對其發出警報。這說起來容易做起來難，因為計算機需要被告知，與正常活動相比，異常是什么。這就是機器學習的用武之地。

本文為邊際實驗室原創，如需轉載請務必注明出處，否則必將追究法律責任。

總結

以上是生活随笔為你收集整理的自动阈值检测_金融科技讲堂之三｜金融企业如何在大数据中进行异常检测（一）...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。