論文全名：Proactive Pseudo-Intervention: Contrastive Learning For Interpretable Vision Models

基本信息：2021年發表在CVPR，作者Dong Wang, Yuewei Yang, Chenyang Tao

摘要重點及文章貢獻

提出了一種新的對比學習策略，稱為主動偽干預（Proactive Pseudo-Intervention，PPI），它利用主動干預來防止沒有因果相關性的圖像特征的提取。還設計了一個新的顯著性因果通知映射模塊來識別關鍵的圖像像素從而進行干預，并表明它極大地提高了模型的可解釋性。

一種端到端對比表征學習策略PPI，采用主動干預來識別因果相關特征

一個快速且與架構無關的顯著性映射模塊權重反向傳播 (Weight Back Propagation,WBP)，它提供了更好的可視化和定位性能。

實驗表明，相對于相互競爭的解決方案，集成PPI和WBP可以顯著提高性能，特別是在 out-of-domain預測、異構源的數據集成和模型解釋方面。

問題背景

當前深度學習模型大多是基于統計模型的數據驅動方式來學習，這種黑盒子的方式雖然可以直接通過數據來學習其隱含的相關性，但是也存在著許多的問題，例如：模型的可解釋性差，過擬合現象。為了避免這兩個問題，作者提出用因果的角度來對模型進行訓練，通過使得模型更多的去關注圖像中與label有關的因果特征從而提升模型對背景信息等非因果信息的魯棒性，同時可以通過事后可視化的方式標記出saliency mapping，從而使得我們對模型有更好的解釋性(e.g. 如果saliency mapping更多的集中于目標物體，那么會大大提升我們對模型的信任程度)

圖一

圖一顯示了使用分層相關性傳播(layer-wise relevance propagation，LRP)方法生成的顯著性圖和我們的模型PPI生成的顯著性圖。LRP表明，以往的深度模型基于與鳥類虛假相關的背景線索（棲息地，如巖石、蘆葦）做出決策，而這篇文章的因果模型PPI主要關注鳥類的解剖結構，有更好的魯棒性。

視覺解釋（Visual Explanations）：顯著性映射（Saliency mapping）是指幫組人類理解和解釋黑盒圖像分類模型的一系列技術，這些方法將模型對label的理解及其預測投射回輸入空間，從而允許對模型地學預測過程進行可視化檢查，旨在擺脫模型 insights或建立深度學習的信任。

對比學習（Contrastive Learning, CL）：CL主要的思路是，給定一個樣本，對其進行數據增強，將增強的結果視為正例；然后，其他所有的樣本視為負例。通過拉近正樣本、拉遠負樣本之間的距離，對比學習能夠在無監督（自監督）情境下學習更穩定的樣本表征，并方便于下游任務的遷移。

因果關系和干預措施：從因果關系的角度來看，人類通過與環境的積極互動來學習。我們干預并觀察結果的變化，以推斷因果依賴關系。相反，機器從靜態觀察中學習，這些靜態觀察不能告知因果決策的依賴特征。因此，對外部因素的擾動，如環境、光線、視角，可能會極大地改變機器的預測，而人類的識別不太容易受到這種變化的影響。

具體實現過程

PPI的構建：因果對比學習方案

圖二

從圖2可以看出，PPI由三個主要部分組成： (i)突出因果相關特征的顯著性映射模塊；（ii）綜合對比樣本的干預模塊；（iii）預測模塊：如VGG ，ResNet 等。總的來說，就是利用對比學習去生成偽干預。

PPI的關鍵在于設計一個綜合干預策略，生成可進行對比學習的樣本，以加強模型訓練中的因果相關性。具體過程如下：假設給定輸入X，label為y = m（m = 1, . . . , M, M為類別數，模型先通過WBP得到圖像的顯著因果特征區域，之后模型會通過將求得的特征區域進行區域框定，生成一個mask圖，理想化的話，mask可以屏蔽掉圖像的因果信息，之后將mask后的圖像輸入到分類模型中，企圖讓分類模型去分類這個mask后的圖像。具體的公式如下：

sm (x)為得到的顯著因果特征區域，T(sm (x))表示得到圖像的mask，ω和σ是兩個閾值超參數，使mask后的值在0到1之間。表達式（3）為對比損失的定義，fθ是預測模塊，?用于表示原始的類標簽已經被翻轉。在二進制情況下，?y=1?y。在實際運用中，我們設置了 l(x，y；fθ）=?l(x，y；fθ）

顯著性映射正則化（Saliency map regularization）

任何滿足因果充分性的顯著性映射（即包含所有的因果特征）都是一個有效的因果顯著性映射。例如，一個顯著性映射覆蓋整個圖像的平凡解決方案可以被認為是因果關系的。為了防止這種簡并性，我們建議將的l1范數正則化運用到顯著性映射中，即：

對抗性正面對比（Adversarial positive contrasts）

單獨優化表達(3)的另一個問題是，模型很容易過度擬合干預，也就是說，模型不是學習捕獲因果相關性，而是學習預測干預操作。例如，當模型檢測到輸入已經被干預時，該模型可以學習改變其預測，而不管圖像是否缺少因果特征。因此，作者引入了對抗性的積極對比：

用一個假的顯著性映射進行干預，即sm（xj）是來自不同輸入xj的顯著性映射，同時鼓勵模型做出正確的預測

顯著權重反向傳播（Saliency Weight Backpropagation）

通俗來說，WBP是通過計算每個像素點對最后分類結果的影響來生成saliency map的。具體計算過程如下：

可以認為，傳統反向傳播是指將loss通過反向算法傳回到網絡中，調整權重并計算梯度，WBP是通過計算每個像素點對最后分類結果的影響來得到saliency map的，WBP過程不在存在梯度更新過程，也沒有參數，梯度的更新由預測模塊決定。

總結

以上是生活随笔為你收集整理的因果论文：Proactive Pseudo-Intervention的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。