论文浅尝 | 时序与因果关系联合推理
論文筆記整理:李昊軒,南京大學碩士,研究方向為知識圖譜、自然語言處理。
來源:ACL2018
鏈接:https://www.aclweb.org/anthology/P18-1212
動機
理解事件之間的時間和因果關系是一項基本的自然語言理解任務。由于原因一定先于結果發生,因此時序關系與因果關系之間存在取值上的聯系。在已有工作中較少聯合關注這兩種關系。本文提出了一種基于整數線性規劃(ILP)模型的聯合推理框架,通過約束限制了結果中時序和因果的一致性。
貢獻點
1. 提出了基于 ILP 模型的時序與因果關系的聯合推理框架,包含了以下約束條件:(1)原因必須在時序上先于其結果;(2)時序對稱性約束;(3)時序傳遞性約束
2.??開發了一個用于聯合標注數據集。本文通過在 EventCausality 數據集的基礎上增加標注時序關系的方法構建了該數據集。
時序和因果聯合推理方法
1.??時序關系部分
a)??時序關系部分的推理公式
其中, 表示第 k 個事件-事件、事件-時間表達式對的時序關系標簽; 表示第 k 個事件-事件、事件-時間表達式對被預測為標簽。該式表示最大化所有事件-事件、事件-時間表達式對的打分之和。
b)??對稱性與傳遞性約束
時序關系標簽定義如下表所示:
傳遞性關系 如下表所示:
對稱性與傳遞性約束定義如下:
c)??增強語言學規則
本文使用了若干先驗語言學知識用于限制Y的搜索空間,可以表達為如下形式:
其中,是一組事件-事件、事件-時間表達式對,這些對可以被該語言學規則決定。
2.??包含因果關系的完整模型
其中,是 W 的搜索空間,依賴于時序關系標簽Y,其定義如下:
其中,是因果關系標簽集合; 是事件對 (i,j) 的因果關系標簽。該約束將因果關系和時序關系聯系在一起。
3.??打分函數
時序關系和因果關系均使用 Softmax 打分函數,例如事件-事件對的時序關系打分如下:
對于因果關系,本文特別將詞對順序的先驗概率分布加入特征。
4.??將聯合推理轉換為ILP形式
打分函數:
時序關系對稱性和傳遞性約束:
語言學規則約束:
約束:
實驗
1.??在 TB-Dense 數據集上時序關系識別的性能對比實驗與ablation實驗
2.??在自建數據集上的時序與因果關系識別的性能
已有數據集不能滿足要求,因此本文自建數據集用于同時測試時序與因果關系識別兩個任務的性能。
總結
本文提出了一種新穎的基于ILP模型的時序與因果聯合推理框架TCR ,并且開發了一個新的時序與因果聯合標注數據集。實驗表明,TCR能夠同時顯著改善兩個任務上的性能。
?
OpenKG
開放知識圖譜(簡稱 OpenKG)旨在促進中文知識圖譜數據的開放與互聯,促進知識圖譜和語義技術的普及和廣泛應用。
點擊閱讀原文,進入 OpenKG 博客。
總結
以上是生活随笔為你收集整理的论文浅尝 | 时序与因果关系联合推理的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 如何成为架构师?3条有效的实战经验
- 下一篇: 肖仰华 | 大规模、高质量的金融知识图谱