選擇可解釋性高的機器學習模型，

而不是解釋決策風險高的黑匣子模型

（原論文名：Stop?Explaining?Black?Box?Machine?Learning?Models?for?High?Stakes?Decisions?and?use?Interpretable?Models?Instead）

作者：

Adrian Colyer,

Venture Partner,

Accel

論文下載地址：https://www.nature.com/articles/s42256-019-0048-x

（看到nature官網是不是有點小激動？? ?嘿嘿嘿）

---

大牛簡介

先對這個實驗室的魯丁教授做個簡單的介紹先，后面也會講到她參與的實驗與論文。

附上杜克大學官網對她的介紹篇：

https://ece.duke.edu/faculty/cynthia-rudin

內容概括

這里的重點? 就是對可解釋性與準確性的區分與關聯? ?以及? ?可解釋模型的創建方法。

一、研究背景

1.目前AI算法的風險：不可解釋性與不穩定性

（這里參考了https://zhuanlan.zhihu.com/p/110255422?中浙江大學助理教授況琨對當下深度學習算法缺陷的介紹）

? 目前的AI算法大多數都是一個black box，存在不可解釋性的問題，并且算法的預測特別不穩定? 以一個簡單的圖片識別問題為例：識別一張圖片中是否有狗。

? 在很多預測問題中，我們拿到的數據集往往都是有偏向性的，比如我們拿到的數據中有80%的圖片中狗都在草地上，這樣就導致在訓練集中草地這一特征會和圖片中是否有狗這個label十分相關。基于這樣的有偏數據集學習一個預測模型，無論是LR，還是Deep Model，都很有可能會將草地這一特征學習成很重要的預測特征。

? 這樣的預測模型，首先是不可解釋的，其次，對于未來的測試數據集，如果和訓練集一樣也是狗在草地上，則模型可以得到正確的預測結果，當然測試數據集也可能是狗在沙灘上，但是背景中有一些樹木或者綠植，這時模型也許能識別出來。但是對于狗在水里的圖片，基于我們的訓練集學習出來的模型肯定會識別不準。這樣就導致了對于所有未知的測試數據集，模型的預測特別不穩定。

不可解釋性與不穩定性產生的原因

? 不穩定性的產生首先可能是數據的問題。現有的大部分機器學習方法都需要IID假設，訓練數據和測試數據應當是獨立同分布的。在現實問題中，我們無法控制測試數據的產生，也就無法保證這一假設的成立。

? 換個角度，我們認為這是模型的問題。現有大部分機器學習模型主要是關聯（Correlation）驅動的。關聯主要有三個來源：Causation，Confounding，Selection Bias。
? 其中Causation（因果）是不會隨著環境的變化而變化的（比如下雨會導致地面濕，這在任何城市和國家都是成立的），是穩定且可解釋的。

? 而Selection Bias（偏向性選擇）描述的就如上述草地和狗的相關性現象，我們通過樣本選擇，使得草地和狗十分相關；同樣也可以使得沙灘等其它背景與狗十分相關。這種關聯會隨著數據集和環境變化而變化。

? Confounding 描述的是由于忽略某些混淆變量導致的關聯。

? 通過Confounding和Selection Bias產生的相關性是不穩定且不可解釋的，我們稱這兩種相關性為Spurious Correlation即虛假相關。

? 傳統方法預測不穩定且不可解釋的主要原因就在于其沒有區分因果關聯與虛假關聯，籠統地將所有關聯都用于指導模型學習和預測。

?

機器學習（ML）現已廣泛應用于對人類生活產生深遠影響的高風險預測應用程序中。

但是由于許多ML模型都是黑匣子，無法在人類可以理解的范圍內解釋其預測。

缺乏透明性和可預測性的模型難以理解與解釋，從而可能導致嚴重后果。

可解釋學習的方法主要分成三類：（之前的博文：高階項在深度學習可解釋領域應用? ? 最后也補充介紹了）

建模前解釋；建立可解釋模型；建模后解釋。

本文主要針對建立可解釋模型與建模后解釋進行對比。

2.特定術語

可解釋性是特定于域的概念，因此不能有通用的定義。但是，通常可解釋的機器學習模型以模型形式受限，因此它對某人有用，或者服從領域的結構知識，例如單調性、可加性、因果關系等約束。

可解釋模型是用于預測的模型，可以自己直接檢驗和人類專家解釋。

可解釋算法也是研究的目標。傳統因果學習算法如PC IC SGS stable PC等等。

3.對于黑匣子的解釋并不真實

事后解釋：

? ? ? ? ? ? ? ? ?對于為黑匣子模型的輸出提供解釋已經有了很多研究（常見的可視化 參數分析等等）

作者提出：

? ? ? ? ? ? ? ? ??事后解釋只是對黑匣子模型所做的事情的“猜測”，解釋一定是錯誤的。他們不能對原始模型具有完美的忠誠度。如果解釋完全忠實于原始模型的計算結果，則該解釋將等于原始模型，并且首先不需要解釋的就是原始模型。

實驗驗證：

COMPAS（替代性制裁的更正罪犯管理概況）à 種族預測? à 以近似值作為對黑匣子的解釋?? ×

顯著性圖可以展示出網絡學習的著重點，但是并不能解釋為什么將這一塊當作著重點。

4.準確性與可解釋性

作者引用了另外一篇論文中的實驗，得到定性的一個結論：
? ? ? ? ? ? 在一定條件下，模型的準確性和可解釋性存在一個此消彼長的關系（反比例關系說起來太絕對了）

?但是作者在后面又針對這個結論，提出自己的見解，并用了一個獨創的可解釋算法證明了：

? ? ? ? ? ? 在準確性與可解釋性之間存在一個平衡點，既保證了模型的精確度，又使得模型本身可解釋（ProtoPNet模型）

5.創建可解釋模型

針對特定領域中的可解釋性，作者“順帶”拿出了自己的私貨——ProtoPNet，這個模型在19年貌似引起了不小的轟動，對深度學習可解釋性學習領域的影響還是比較大的。

6.可解釋模型的重要性

CDA數據分析師認為應重視機器學習模型的可解釋性的主要原因如下：

①判別并減輕偏差（Identify and mitigate bias）

? ? ? ? ? ? ? ? ? ??可解釋性與準確性的權衡問題

②考慮問題的上下文（Accounting for the context of the problem）

? ? ? ? ? ? ? ? ? ??使得上下文相關，符合實際情況

③改進泛化能力和性能（Improving generalisation and performance）

? ? ? ? ? ? ? ? ? ? ?一個模型的好壞不僅僅取決于對當前問題的解決能力，還要分析該方法、思想的適用范圍

④道德和法律原因（Ethical and legal reasons）

? ? ? ? ? ? ? ? ? ? ?需要符合法律與道德規范，并且在科學領域仍高速發展的時代下，應提前發現問題制定規定

7.在特定領域設計可解釋性

?

?

文章中的這部分內容，涉及到了下一篇論文，這里就藏點小寶貝了。

（另 熱騰騰的PPT啥的? 已經上傳啦，可供參考

https://download.csdn.net/download/qq_35155934/12758269）

總結

以上是生活随笔為你收集整理的阅读笔记2： 深度学习可解释性学习：不要做事后解释的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。