ICLR-2018

摘要

對于多維或高維數據的無監督異常檢測在基礎機器學習研究和工業應用中都是非常重要的，其密度估計是核心。雖然先前基于維數降低隨后密度估計的方法取得了豐碩成果，但它們主要受到模型學習的解耦，其優化目標不一致，并且無法在低維空間中保留基本信息。在本文中，我們提出了深度自動編碼高斯混合模型（DAGMM）用于無??監督異常檢測。我們的模型利用深度自動編碼器為每個輸入數據點生成低維表示和重建誤差，并進一步輸入高斯混合模型（GMM）。 DAGMM不是使用解耦的兩階段訓練和標準的期望最大化（EM）算法，而是以端到端的方式同時優化深度自動編碼器和混合模型的參數，利用單獨的估計網絡來促進混合模型的參數學習。聯合優化很好地平衡了自動編碼重建，潛在表示的密度估計和正則化，有助于自動編碼器逃離不太吸引人的局部最優，并進一步減少重建錯誤，避免了預訓練的需要。幾個公共基準數據集的實驗結果表明，DAGMM明顯優于最先進的異常檢測技術，并且基于標準F1得分可實現高達14％的改進。

Introduction

在本文中，我們提出了深度自動編碼高斯混合模型（DAGMM），這是一個深度學習框架，從幾個方面解決了無監督異常檢測中的上述挑戰。

首先，DAGMM在低維空間中保留輸入樣本的關鍵信息，該低維空間包括由維數減少和誘導重建誤差發現的減小維度的特征。從圖1所示的例子中，我們可以看到異常在兩個方面與正常樣本不同：（1）異常可以在縮小的維度中顯著偏離，其特征以不同的方式相關; （2）與正常樣本相比，異常難以重建。與僅涉及具有次優性能的方面之一（Zimek等人（2012）; Zhai等人（2016））的現有方法不同，DAGMM利用稱為壓縮網絡的子網絡通過自動編碼器執行降維，通過連接來自編碼的減少的低維特征和來自解碼的重建誤差，為輸入樣本準備低維表示。

其次，DAGMM在學習的低維空間上利用高斯混合模型（GMM）來處理具有復雜結構的輸入數據的密度估計任務，這對于現有工作中使用的簡單模型來說相當困難（Zhai等人（2016） ））。雖然GMM具有強大的能力，但它也在模型學習中引入了新的挑戰。由于GMM通常通過諸如期望最大化（EM）（Huber（2011））等交替算法來學習，因此難以進行維數降低和密度估計的聯合優化，有利于GMM學習，GMM學習通常退化為傳統的兩步法做法。為了解決這一培訓挑戰，DAGMM利用稱為估計網絡的子網絡，**該子網絡從壓縮網絡獲取低維輸入并輸出每個樣本的混合成員預測。**利用預測的樣本成員資格，我們可以直接估計GMM的參數，便于評估輸入樣本的能量/可能性。通過同時最小化來自壓縮網絡的重建誤差和來自估計網絡的樣本能量，我們可以聯合訓練直接幫助目標密度估計任務的維數減少組件。

最后，DAGMM對端到端培訓很友好。通常，通過端到端訓練很難學習深度自動編碼器，因為它們很容易陷入不那么有吸引力的局部最佳狀態，因此廣泛采用預訓練（Vincent et al。（2010）; Yang et al。（ 2017a）;謝等人（2016））。但是，預訓練限制了調整降維行為的可能性，因為很難通過微調對訓練有素的自動編碼器進行任何重大改變。我們的實證研究表明，DAGMM通過端到端訓練得到了充分的學習，因為估計網絡引入的正則化極大地幫助壓縮網絡中的自動編碼器擺脫了不太吸引人的局部最優。幾個公共基準數據集的實驗表明，DAGMM具有優于現有技術的卓越性能，異常檢測的F1得分提高了14％。此外，我們觀察到端到端訓練中DAGMM中自動編碼器的重建誤差與其預訓練對應物的重建誤差一樣低，而來自估計網絡沒有正則化的自動編碼器的重建誤差保持不變高。此外，端到端訓練的DAGMM明顯優于依賴于預先訓練的自動編碼器的所有基線方法。

OVERVIEW

深度自動編碼高斯混合模型（DAGMM）由兩個主要部分組成：壓縮網絡和估計網絡。 如圖2所示，DAGMM的工作原理如下：（1）壓縮網絡通過深度自動編碼器對輸入樣本進行降維，從縮小的空間和重建誤差特征中準備它們的低維表示，并將表示提供給 隨后的估算網絡; （2）估計網絡采用饋送，并在高斯混合模型（GMM）的框架中預測它們的似然/能量。

總結

以上是生活随笔為你收集整理的DEEP AUTOENCODING GAUSSIAN MIXTURE MODEL FOR UNSUPERVISED ANOMALY DETECTION的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。