独家 | 机器学习解释模型：黑盒VS白盒（附资料链接）
作者：Lars?Hulstaert
翻譯：吳金笛
校對：Nicola
本文約2000字，建議閱讀9分鐘。
本文將討論一些可用于解釋機器學習模型的不同技術(shù)。?
?
大多數(shù)機器學習系統(tǒng)需要能夠為利益相關(guān)者解釋為何做出這樣特定的預(yù)測。?在選擇合適的機器學習模型時，我們通常會在準確性與可解釋性之間權(quán)衡：
準確與“黑盒”：
諸如神經(jīng)網(wǎng)絡(luò)，梯度增強模型或復(fù)雜集合之類的黑盒模型通常提供很高的準確性。?這些模型的內(nèi)部工作難以理解，并且它們不能估計每個特征對模型預(yù)測的重要性，也不容易理解不同特征之間如何相互作用。
較弱的“白盒”：
另一方面，諸如線性回歸和決策樹之類的簡單模型具備較弱的預(yù)測能力，并且不總能對數(shù)據(jù)集的固有復(fù)雜性建模（即，特征交互）。?但是這些卻是很容易被理解和解釋的。
?
圖片來自Applied.AI
?
準確性與可解釋性的權(quán)衡取決于一個重要的假設(shè)，即“可解釋性是模型的固有屬性”。
“可解釋性是模型的固有屬性”
然而，我堅信通過合適的“可解釋性技術(shù)”，任何機器學習模型都可以更具解釋性，盡管對于某些模型而言其復(fù)雜性和成本比其他模型更高。
?
在這篇博文中，我將討論一些可用于解釋機器學習模型的不同技術(shù)。?此博客文章的結(jié)構(gòu)和內(nèi)容主要基于H20.ai機器學習可解釋性小冊子。?如果您想了解更多信息，我強烈建議閱讀這個H20.ai小冊子或Patrick?Hall撰寫的的其他材料！
H20.ai機器學習可解釋性小冊子
Patrick Hall
http://docs.h2o.ai/driverless-ai/latest-stable/docs/booklets/MLIBooklet.pdf模型屬性
模型的可解釋程度通常與響應(yīng)函數(shù)的兩個屬性相關(guān)聯(lián)。?模型的響應(yīng)函數(shù)f（x）定義模型的輸入（特征x）和輸出（目標f（x））之間的輸入?-?輸出關(guān)系。?根據(jù)機器學習模型，此函數(shù)具有以下特征：
線性：在線性響應(yīng)函數(shù)中，特征與目標之間的關(guān)聯(lián)表現(xiàn)為線性。?如果一個特征線性變化，我們也期望目標以相似的速率線性變化。
單調(diào)性：在單調(diào)響應(yīng)函數(shù)中，特征與目標之間的關(guān)系始終在特征上的一個方向（增大或減小）。?更重要的是，這種關(guān)系貫穿于整個特征域，并且與其他特征變量無關(guān)。
簡單線性和單調(diào)響應(yīng)函數(shù)的示例（1個輸入變量x，1個響應(yīng)變量y）
?
線性回歸模型是線性單調(diào)函數(shù)的例子，而隨機森林和神經(jīng)網(wǎng)絡(luò)是表現(xiàn)出高度非線性和非單調(diào)響應(yīng)函數(shù)的模型的例子。
?
Patrick?Hall的以下幻燈片說明了為什么在需要清晰簡單的模型解釋時，通常首選白盒模型（具有線性和單調(diào)函數(shù)）。?最上面的圖表顯示，隨著年齡的增長，購買數(shù)量會增加。?在全局范圍內(nèi)響應(yīng)函數(shù)具有線性和單調(diào)關(guān)系，這容易被所有利益相關(guān)者理解。
?
然而，由于白盒模型的線性和單調(diào)約束，趨勢的一個重要部分被忽略了。?通過探索更復(fù)雜的機器學習模型，雖然響應(yīng)函數(shù)在局部范圍內(nèi)僅是線性和單調(diào)的，但是可以更好地擬合觀測數(shù)據(jù)。?為了解釋模型行為，有必要在局部范圍內(nèi)研究該模型。
?
在全局范圍或局部范圍內(nèi)，模型可解釋性的范圍本質(zhì)上與模型的復(fù)雜性相關(guān)。線性模型在整個特征空間中表現(xiàn)出相同的行為（如上圖所示），因此它們是全局可解釋的。?輸入和輸出之間的關(guān)系通常受到復(fù)雜性和局部解釋的限制（即，為什么模型在某個數(shù)據(jù)點做出了某種預(yù)測？），而局部解釋默認為全局解釋。
?
對于更復(fù)雜的模型，模型的全局行為更難定義，并且需要響應(yīng)函數(shù)的小區(qū)域的局部解釋。?這些小區(qū)域更可能表現(xiàn)出線性和單調(diào)，從而實現(xiàn)更準確的解釋。
?
ML庫（例如sk-learn）允許在不同分類器之間進行快速比較。?當數(shù)據(jù)集的大小和維度受限時，可以解釋結(jié)果。?在大多數(shù)現(xiàn)實問題中情況將不再如此。
?
在本博文的其余部分中，我將重點介紹兩種提供全局和局部解釋的模型無關(guān)（model-agnostic）技術(shù)。?這些技術(shù)可以應(yīng)用于任何機器學習算法，并且通過分析機器學習模型的響應(yīng)函數(shù)來實現(xiàn)可解釋性。
?
可解釋性技術(shù)
?
1. 代理模型
代理模型是用于解釋更復(fù)雜模型的模型。?通常使用線性模型和決策樹模型，由于它們的簡單解讀。?創(chuàng)建代理模型以表示復(fù)雜模型（響應(yīng)函數(shù)）的決策過程，并且是使用輸入和模型預(yù)測訓練的模型，而不是在輸入和目標上訓練的模型。
?
代理模型在非線性和非單調(diào)模型之上提供了一個全局可解釋性的層，但它們不應(yīng)該被完全依賴。?代理模型不能完美地表示底層響應(yīng)函數(shù)，也不能捕獲復(fù)雜的特征關(guān)系。?它們主要用作模型的“全局總結(jié)”。?以下步驟說明了如何為任一黑盒模型構(gòu)建代理模型：
?
訓練黑盒模型。
在數(shù)據(jù)集上評估黑盒模型。
選擇一個可解釋的代理模型（通常是線性模型或決策樹）。
在數(shù)據(jù)集上訓練可解釋模型和其預(yù)測。
確定代理模型的錯誤度量并解釋代理模型。
?
2. LIME
LIME背后的一般思想與代理模型相同。?然而，LIME并不構(gòu)建代表整個數(shù)據(jù)集的全局代理模型，而只構(gòu)建在局部區(qū)域內(nèi)解釋預(yù)測的局部代理模型（線性模型）。?有關(guān)LIME的更深入解釋，請參閱LIME上的博客文章。
LIME提供了一種直觀的方法來解釋給定數(shù)據(jù)點的模型預(yù)測。
?
以下步驟說明了如何為任一黑盒模型構(gòu)建LIME模型：
?
訓練黑盒模型。
局部感興趣區(qū)域的樣本點。樣本點可以從數(shù)據(jù)集中檢索，或生成人工點。
通過接近感興趣區(qū)域?qū)π聵颖具M行加權(quán)。在有差異的數(shù)據(jù)集上擬合加權(quán)的，可解釋的（代理）模型。
解釋局部代理模型。
?
結(jié)論
?
你可以使用這里的幾種不同技術(shù)來提高你的機器學習模型的可解釋性。盡管隨著該領(lǐng)域的進步，這些技術(shù)越來越強大，但是一直比較不同的技術(shù)是很重要的。我沒有討論的一個技術(shù)是Shapley值。要了解更多有關(guān)該技術(shù)的知識請看Christoph?Molnar的書《可解釋的機器學習》（Interpretable?Machine?Learning）。
Interpretable Machine Learning
Christoph Molnar
https://christophm.github.io/interpretable-ml-book/原文標題?:?
Black-box vs. white-box models
原文鏈接：
https://towardsdatascience.com/machine-learning-interpretability-techniques-662c723454f3
譯者簡介
吳金笛，雪城大學計算機科學碩士一年級在讀。迎難而上是我最舒服的狀態(tài)，動心忍性，曾益我所不能。我的目標是做個早睡早起的Cool?Girl。
翻譯組招募信息
工作內(nèi)容：需要一顆細致的心，將選取好的外文文章翻譯成流暢的中文。如果你是數(shù)據(jù)科學/統(tǒng)計學/計算機類的留學生，或在海外從事相關(guān)工作，或?qū)ψ约和庹Z水平有信心的朋友歡迎加入翻譯小組。
你能得到：定期的翻譯培訓提高志愿者的翻譯水平，提高對于數(shù)據(jù)科學前沿的認知，海外的朋友可以和國內(nèi)技術(shù)應(yīng)用發(fā)展保持聯(lián)系，數(shù)據(jù)派THU產(chǎn)學研的背景為志愿者帶來好的發(fā)展機遇。
其他福利：來自于名企的數(shù)據(jù)科學工作者，北大清華以及海外等名校學生他們都將成為你在翻譯小組的伙伴。
點擊文末“閱讀原文”加入數(shù)據(jù)派團隊~
點擊“閱讀原文”擁抱組織
總結(jié)
以上是生活随笔為你收集整理的独家 | 机器学习解释模型：黑盒VS白盒（附资料链接）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： voip 音频采集时间_树莓派3 音频配
- 下一篇： [安卓开发] Android 自己做双向