【异常检测论文】Anomaly Detection综述
Anomaly Detection綜述
- 一、簡介
- 二、異常檢測的概念
- 三、異常檢測相關工作與方向
- 1.DAD研究的主要元素
- （1）異常數據集
- （2）異常檢測模型
- （3）異常檢測應用
- 2.異常檢測論文分類
- （1）數據的連續性
- （2）數據標簽的可用性
- （3）基于訓練對象的模型
- （4）數據異常類型
- （5）異常檢測輸出類型
- （6）異常檢測輸出類型
- 四、原始數據的連續性Nature of Input Data
- 五、數據標簽的可用性Availability of Labels
- 1.監督Supervised DAD
- 2.半監督Semi-supervised DAD
- 3.無監督Unsupervised DAD
- 六、基于訓練對象的模型
- 1.深度變種模型Deep Hybrid Models(DHM)
- 2.單分類神經網絡One-Class Neural Networks(OC-NN)
- 七、數據異常類型
- 1.點集Point
- 2.連續集Contextual or Conditional
- 3.團隊集Collective or Group
- 七、idea新穎的論文
- 七、相關代碼
一、簡介
異常檢測一直是機器學習中一個非常重要的子分支，在各種人工智能落地應用例如計算機視覺、數據挖掘、NLP中，異常檢測算法都是很熱門的研究方向，特別是大數據時代，人工處理數據的速度已經遠遠趕不上機器了，所以更快地檢測數據中的異常情況成為了我們當下非常重要的任務。在深度學習廣泛的推廣之前，傳統的異常檢測算法有很多，例如高斯擬合，半監督學習等等，而在深度學習大火之后，人們也開始研究將深度學習應用于各種異常任務中(也就是Deep Anomaly Detection，以下統稱DAD)，并取得了很大的成功，本文將把當下該方向熱門的研究方向分類并列舉了對應的文章，希望能幫助大家更好地理解此方向的研究。
二、異常檢測的概念
異常檢測，從定義而言就是一種識別不正常情況與挖掘非邏輯數據的技術，也叫outliers。例如在計算機視覺的應用中，有人在抖音發表一個視屏，在邊騎車邊打電話，那這就是個不符合規范的視屏，我們能否采用一些方式來將其檢測出來，再例如在數據挖掘領域中，那異常檢測的應用就更廣泛了，比如信用卡盜刷，超大金額支出等等。通常情況下，在我們閱讀論文的過程中，異常檢測(Anomaly Detection)也被叫做，Novelty Detection，Outlier Detection，Forgery Detection，Out-of-distribution Detection。在閱讀論文的情況，這些名詞也有輕微的區別，以計算機視覺為例，如下圖所示。
在計算機視覺的基本任務——圖像分類中，單分類與多分類問題，將幾種概念的細微區別基本闡述清楚了。Anomaly Detection指在不屬于該分類的數據集中，而Novelty是檢測可能屬于該分類但卻沒見過(Unseen)也就是Novel的數據集，而OOD(out-of-distribution)則是多分類中不同目標的分布，這些任務在接下來的論文中，也經常有人進行相應的研究。
三、異常檢測相關工作與方向
首先根據查閱異常檢測方向綜述的文章，我將基于深度學習的異常檢測應用方向論文，按照主要的邏輯結構列舉在了下面，我相信這可以更加方便地向你展示異常檢測方向你應該怎樣去研究你的論文。
1.DAD研究的主要元素
（1）異常數據集
（2）異常檢測模型
（3）異常檢測應用
2.異常檢測論文分類
下面也是我根據參考文獻，把異常檢測論文分成幾個當前研究方向，相當于列出了一個目錄在這里，可供之后方便查看，關于論文分類的一些概念，我會在下面的介紹中詳細提及。
（1）數據的連續性
（2）數據標簽的可用性
（3）基于訓練對象的模型
（4）數據異常類型
（5）異常檢測輸出類型
（6）異常檢測輸出類型
有將近十種異常檢測相關的應用，由于目前對該部分研究較淺，所以之后會考慮單獨寫篇文章來總結異常檢測方面的應用型論文。
四、原始數據的連續性Nature of Input Data
在DAD問題中選擇怎樣的網絡結構很大部分取自于原始數據(raw/input data)的類型，原始數據在廣義上我們可以分為連續型(Sequential)與非連續型(Non-sequential)，如何選擇相應的模型，我列舉在下表中。
DAD在未降維的高維原始數據中表現優異，成功提取大規模數據的關系，通常情況下，網絡越深，提取效果越好，這個部分感興趣的話可以參考下面這篇文章。
26. Yann LeCun, Yoshua Bengio, and Geoffrey Hinton. Deep learning. nature, 521(7553):436, 2015.
五、數據標簽的可用性Availability of Labels
數據標簽是非常重要的事情，標簽代表著正常(normal)數據或是未見過(unseen/novel)的數據，對于標簽內容的使用同樣是現在異常檢測方向論文重點考慮的事情。異常檢測的模型也可以根據數據標簽的內容廣義的分為三類，監督，半監督和無監督。
1.監督Supervised DAD
基于監督學習的DAD文章，整理了兩篇醫學方向的，由于監督學習對于標簽內容的依賴度過重，所以他對于異常檢測的問題并不是那么合適，所以它并不如半監督和無監督應用地那么廣泛。
27. Raghavendra Chalapathy, Ehsan Zare Borzeshi, and Massimo Piccardi. An investigation of recurrent neural architectures for drug name recognition. arXiv preprint arXiv:1609.07585, 2016a.
28. Raghavendra Chalapathy, Ehsan Zare Borzeshi, and Massimo Piccardi. Bidirectional lstm-crf for clinical concept extraction. arXiv preprint arXiv:1611.08373, 2016b.
2.半監督Semi-supervised DAD
由于正常數據集比異常數據集更好獲得，所以半監督學習DAD方法被非常廣泛的使用，擁有了足夠的數據集，我們能更好地標出正常數據，異常數據，新數據的界限，半監督學習模型列舉三篇論文。
29. Drausin Wulsin, Justin Blanco, Ram Mani, and Brian Litt. Semi-supervised anomaly detection for eeg waveforms using deep belief nets. In Machine Learning and Applications (ICMLA), 2010 Ninth International Conference on, pages 436–441. IEEE, 2010.
30. Mutahir Nadeem, Ochaun Marshall, Sarbjit Singh, Xing Fang, and Xiaohong Yuan. Semi-supervised deep neural network for network intrusion detection. 2016.
31. Hongchao Song, Zhuqing Jiang, Aidong Men, and Bo Yang. A hybrid semi-supervised anomaly detection model for high-dimensional data. Computational intelligence and neuroscience, 2017.
3.無監督Unsupervised DAD
傳統機器學習算法其實我感覺更傾向于直接從數據集中讓機器去學習一些東西，然后直接用參數的方式表示出來，異常檢測問題同樣我們也用自動標簽的方式去檢測是否異常，因為有時候可能數據難以獲取。自動解碼器是無監督DAD的核心，所以這里深度學習的一些神經網絡大有可為，例如RNN，LSTM等等。我們這里只列舉了一種采用變種半監督學習方法的論文，應用于異常數據降維，表現效果超越很多傳統降維算法，如PCA，Isolation等等。
32. Aaron Tuor, Samuel Kaplan, Brian Hutchinson, Nicole Nichols, and Sean Robinson. Deep learning for unsupervised insider threat detection in structured cybersecurity data streams. arXiv preprint arXiv:1710.00811, 2017.
六、基于訓練對象的模型
按照訓練對象的區別，我們把訓練模型單獨劃分為兩類，變種模型與單分類神經網絡。
1.深度變種模型Deep Hybrid Models(DHM)
2.單分類神經網絡One-Class Neural Networks(OC-NN)
七、數據異常類型
1.點集Point
舉信用卡盜刷的例子，點集異常就是指單筆交易大金額支出，比如你都花1塊2塊的錢，突然有一天消費了1k，那可能就出現了異常情況，但這個方向好像沒有人單獨發過文章。
2.連續集Contextual or Conditional
連續集就是指上下文相關的連續數據，某一個中間數據出現了異常情況，可能引起了梯度消失爆炸等等問題。
36. Xiuyao Song, Mingxi Wu, Christopher Jermaine, and Sanjay Ranka. Conditional anomaly detection. IEEE Transactions on Knowledge and Data Engineering, 19(5):631–645, 2007.
3.團隊集Collective or Group
還是信用卡盜刷的例子，如果某天你的信用卡突然短時間內不停地消費50元，那機器可能會發現，這些團隊數據集的消費出現了異常，這種情況我們也在其他場合經常遇到。
37. Raghavendra Chalapathy, Edward Toth, and Sanjay Chawla. Group anomaly detection using deep generative models. arXiv preprint arXiv:1804.04876, 2018b.
38. Lo¨?c Bontemps, James McDermott, Nhien-An Le-Khac, et al. Collective anomaly detection based on long short-term memory recurrent neural networks. In International Conference on Future Data and Security Engineering, pages 141–152. Springer, 2016.
39. Daniel B Araya, Katarina Grolinger, Hany F ElYamany, Miriam AM Capretz, and G Bitsuamlak. Collective contextual anomaly detection framework for smart buildings. In Neural Networks (IJCNN), 2016 International Joint Conference on, pages 511–518. IEEE, 2016.
40. Naifan Zhuang, Tuoerhongjiang Yusufu, Jun Ye, and Kien A Hua. Group activity recognition with differential recurrent convolutional neural networks. In Automatic Face & Gesture Recognition (FG 2017), 2017 12th IEEE International Conference on, pages 526–531. IEEE, 2017.
七、idea新穎的論文
這里我再給大家推薦8篇idea比較新穎的論文，可供大家閱讀與交流。
41. [1] Liu W, Luo W, Lian D, et al. Future frame prediction for anomaly detection–a new baseline[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 6536-6545.
42. [1] Liu W, Luo W, Lian D, et al. Future frame prediction for anomaly detection–a new baseline[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 6536-6545.
43. [2] Gong D, Liu L, Le V, et al. Memorizing normality to detect anomaly: Memory-augmented deep autoencoder for unsupervised anomaly detection[C]//Proceedings of the IEEE International Conference on Computer Vision. 2019: 1705-1714.
44. [3] Park H, Noh J, Ham B. Learning Memory-guided Normality for Anomaly Detection[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 14372-14381.
45. [4] Zhao Y, Deng B, Shen C, et al. Spatio-temporal autoencoder for video anomaly detection[C]//Proceedings of the 25th ACM international conference on Multimedia. 2017: 1933-1941.
46. [5] Ionescu R T, Khan F S, Georgescu M I, et al. Object-centric auto-encoders and dummy anomalies for abnormal event detection in video[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 7842-7851.
47. [6] Liu W, Luo W, Li Z, et al. Margin Learning Embedded Prediction for Video Anomaly Detection with A Few Anomalies[C]//IJCAI. 2019: 3023-3030.
48. [7] Sultani W, Chen C, Shah M. Real-world anomaly detection in surveillance videos[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 6479-6488.
49. [8] Luo W, Liu W, Gao S. A revisit of sparse coding based anomaly detection in stacked rnn framework[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017: 341-349.
七、相關代碼
總結
以上是生活随笔為你收集整理的【异常检测论文】Anomaly Detection综述的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 欧洲词典 ABBYY Lingvo Eu
- 下一篇： Waifu2x-Extension-GU