筆記整理：朱珈徵，天津大學碩士

鏈接：https://aclanthology.org/2021.acl-long.183.pdf

動機

因果推理旨在理解因果之間的一般因果相關性，對于各種人工智能應用都有很大的價值。先前的研究主要是基于從手工注釋的因果事件對中歸納出的知識來推斷事件之間的因果關系。然而，關于因果關系的更多證據信息仍未被利用。通過整合這些信息，可以揭示因果關系背后的邏輯規律，提高因果推理系統的可解釋性和穩定性。為此，作者們提出了一個事件圖知識增強的可解釋因果推理框架(ExCAR)。ExCAR首先從大規模的因果事件圖中獲取額外的證據信息，作為因果推理的邏輯規則。為了學習邏輯規則的條件概率，作者們提出了條件馬爾可夫神經邏輯網絡(CMNLN)，它以端到端可微的方式結合了邏輯規則的表示學習和結構學習。實驗結果表明，ExCAR的性能優于以往的SOTA方法。對抗性攻擊評估顯示ExCAR的穩定性優于基線系統。人工評估結果表明，ExCAR具有良好的可解釋性能

亮點

ExCAR的亮點主要包括：

1.提出了一個事件圖知識增強的可解釋因果推理(ExCAR)框架充分利用證據信息的潛力。給定一個輸入事件對，ExCAR首先從大型因果事件圖中檢索外部證據事件，并將它們之間的因果關系定義為一組邏輯規則；2.進一步提出了一個條件馬爾可夫神經邏輯網絡(CMNLN)，以端到端方式學習邏輯規則的條件因果相關性，以解決事件之間因果關系的不確定。

概念及模型

?背景

因果推理任務可以形式化為一個預測問題：給定一個因果事件對<C,E>，由前提事件和其中一個假設事件組成，預測模型需要預測一個分數來度量事件對的因果關系。

CEG是由作者構建的大規模因果知識庫，從該知識庫中可以檢索出一組針對某一因果事件對<C,E>的額外證據。在形式上，CEG是一個有向無環圖，表示為G = {V,R}，其中V是節點集，R是邊集。每個節點??對應一個事件，而每條邊??表示第i個事件和第j個事件之間存在因果關系。

為了提高因果推理的可解釋性和穩定性，本文將因果推理問題轉化為基于規則的推理任務。具體來說，給定一個輸入因果事件對<C,E>，從CEG那里檢索到一組證據事件。證據事件與C、E進一步形成一套因果邏輯規則，其中一條規則描述了兩個事件之間的因果關系。在形式上，規則??，其中是?一個邏輯連接，表示兩個事件??和??之間的因果關系。針對這些因果邏輯規則，可以揭示因果機制，并以一種可解釋的方式進行因果推理

事件圖知識增強的可解釋因果推理(ExCAR)框架結構如下：

?ExCAR

如圖上所示，ExCAR由兩個組件組成。給定事件對<C,E>，ExCAR采用證據檢索模塊，從預先構建的因果事件圖中檢索證據事件，生成一組邏輯規則。然后ExCAR利用條件馬爾可夫神經網絡進行基于邏輯規則的因果推理。

?證據事件檢索

給定在因果事件圖之外的事件對<C,E>，為了從因果事件圖中獲得證據，作者首先在因果事件圖中定位因果關系。從直觀上看，語義上相似的事件會有相似的原因和結果，并且在CEG中共享相似的位置。為此，采用了一種預先訓練的語言模型ELMo來推導CEG中事件的語義表示，以及因果事件。然后利用語義表示的余弦相似度，在CEG中找到與輸入的因果事件語義相似的事件。這些事件可以作為定位因果事件的錨點。然后如上圖所示，以原因事件的錨點為起點，以效應事件的錨點為終點，可以通過廣度優先搜索(BFS)算法檢索證據事件。

?條件馬爾可夫神經邏輯網絡

規則的因果強度可能因先行詞的不同而不同，其中先行詞可以是一個事件，一個簡單的規則或單個規則的復雜組合。為清楚起見，將規則??的先行詞表示為??。如圖所示，從因果邏輯圖派生出的單個規則可以有多個前因，每個前因都可以對規則的因果強度產生自己的影響。為了通過利用神經模型在表示學習中的有效性來解決這個問題，提出了基于邏輯規則嵌入的CMNLN。為了模擬規則的疊加因果效應，CMNLN將CLG視為不同因果邏輯鏈的組合，并結合每個因果邏輯鏈的信息預測因果評分。因此，在每個因果邏輯鏈中，使用一個前因感知的勢函數，為每個規則估計特定于鏈的因果強度。然后CMNLN聚合鏈內因果信息和鏈間因果信息，得出因果評分。

?訓練

在訓練過程中，引入了因果邏輯驅動的負抽樣，以提高條件因果強度估計的可靠性。特別是，如果在CLG中存在規則??，由于因果關系的單向性，可以推導出相應的錯誤規則??。從CLG中，也可以通過隨機抽樣為錯誤規則生成一個錯誤的前因式。因此，理想情況下，這些錯誤規則的條件因果強度應該等于0。此外，還將因果關系的單向性與因果關系的及物性結合起來，生成具有更復雜模式的錯誤規則。通過對錯誤規則進行采樣并訓練這些錯誤規則的勢函數為零時，條件因果強度估計的可靠性可以得到提高。對于因果邏輯驅動的負抽樣過程，CMNLN的損失函數定義為

理論分析

實驗

為了評估ExCAR框架的魯棒性，作者構建了一個額外的中文常義因果推理數據集C-COPA。

Baseline：這些方法從大規模語料庫中估計詞或短語層次的因果關系。然后通過合成詞級或短語級的因果關系，得到輸入事件對的因果關系。PMI使用點互信息度量詞級因果關系。PMI EX是一個非對稱的詞水平PMI，它考慮了因果推理的方向性。CS通過整合必要性因果關系和充分性因果關系來衡量詞匯層面的因果關系。CS MWP使用CS評分來衡量單詞和介詞短語之間的因果關系。

作者在下表中列出了COPA數據集和C-COPA數據集上的結果。實驗表明，與基于因果對的BERT相比，ExCAR相關方法的性能有所提高。這表明從事件圖中加入額外的證據有助于揭示因果決策機制，從而提高因果推理的準確性。ExCAR-w/ MLN和ExCAR-w/ CMNLN的性能優于ExCAR-concat，后者將CLG簡化為一個事件序列。這表明利用邏輯規則之間復雜的因果關系模式可以幫助完成因果推理任務。與ExCAR-w/ fixed-cs相比，ExCAR-w/ MLN和ExCAR-w/ CMNLN的性能有所提高。這證實了神經化規則來解釋邏輯規則的不確定性對因果推理任務是有幫助的。與ExCAR-w/ MLN相比，ExCAR-w/ CMNLN進一步提高了預測精度，表明通過整合前因感知勢函數，CMNLN可以對因果推理邏輯規則的條件因果強度進行建模。

表2為對抗性攻擊后的預測精度，?為對抗性攻擊帶來的性能變化。例如，?= -9.9表示攻擊后的預測精度下降了9.9%。作者發現，與基于事件對的BERT相比，ExCAR能夠顯著提高預測精度的穩定性。這些結果表明，ExCAR可以通過引入額外的證據事件來揭示其背后的因果機制，從而提高預測結果的穩定性。

總結

本文設計了一個新穎的可解釋的因果推理框架ExCAR。給定一個事件對，ExCAR能夠從一個大規模的因果事件圖中獲取邏輯規則，以提供對推理結果的洞察力。為了學習邏輯規則的條件概率，作者提出了一種結合了基于規則和神經模型的優勢的條件馬爾可夫神經邏輯網絡。經驗上，本文的方法在兩個因果推理數據集，包括COPA和C-COPA上優于之前的工作。此外，ExCAR可以通過提供概率邏輯規則的解釋來解釋。

---

OpenKG

OpenKG（中文開放知識圖譜）旨在推動以中文為核心的知識圖譜數據的開放、互聯及眾包，并促進知識圖譜算法、工具及平臺的開源開放。

點擊閱讀原文，進入 OpenKG 網站。

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的论文浅尝 | ExCAR: 一个事件图知识增强的可解释因果推理框架的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。