论文浅尝 | 一个模型解决所有问题:实体和事件的神经联合模型
筆記整理:康矯健,浙江大學計算機科學與技術系,碩士研究生。
論文鏈接:https://arxiv.org/pdf/1812.00195.pdf
發表會議:AAAI 2019
摘要???
近來,針對事件抽取的工作大都集中在預測事件的triggers和arguments roles,而把實體識別當作是已經由專家標注好了的,然而實際情況是實體識別通常是由現有工具包預測出來的,而這將會導致實體類型預測產生的錯誤傳播到后續任務中而無法被糾正。因而,本文提出一種基于共享的 feature representation,從而預測實體類型,triggers,argumentsroles 的聯合模型。實驗表明我們的方法做到了 state of the art.
模型介紹
1.???? 概覽
如圖1所示,該模型由三個核心部分組成,分別是實體類型預測(Entity MentionDetection - EMD)、事件類型預測(Event Detection - ED)和語義角色類型預測(Argument RolePrediction - ARP)。
2.???? Sentence Encoding
句子中的每個詞向量表示由兩部分組成。一部分是由word2vec預先訓練好的詞向量;第二部分是binary vectors,由POS,chunk以及dependency信息組成。之后將這兩部分拼接在一起。
3.???? Sentence Representation
將Sentence Encoding中得到的詞向量輸入到bi-GRU中得到每個詞的隱藏層表示:
已經有實驗表明 bi-GRU 可以 encode 非常豐富的上下文信息,這對事件抽取這個任務非常有效。之后,這個表示將作為 EMD、ED 以及 ARP 任務預測實體類型,trigger類型和語義角色類型的 shared representation。
我們的目標就是最大化三個預測任務的聯合概率:
4.???? Entity Mention Detector
可以將實體類型檢測的目標函數展開如下:
我們的目標是最大化這個概率。
其中:
其中:
5.???? Triggerand Argument Prediction
可以將事件類型的檢測和語義角色類型的預測展開成如下目標函數,我們的目標是最大化這個目標函數:
其中:
其中:
實驗分析
1.???? Trigger 和語義角色預測實驗效果
可以看到,本文提出的聯合訓練模型在event trigger identification、event triggerclassification、event argument identification、event argumentclassification上的F1值都達到了當前最優效果,具體結果如下:
2.???? 實體類型預測的結果
試驗結果表明,本文提出的模型在實體類型檢測上的F1值同樣達到了最優,具體結果如下:
3.???? Error Analysis
可以看到 trigger classification(69.8%)和 trigger identification(72.5%)的效果相差不多,可見主要的錯誤來源于未能準確判斷一個詞屬于 trigger word。
而通過對未能檢測出來的 trigger word 的研究發現主要是由于在訓練數據集上未出現過這個詞,比如:
????? 通過對檢測出來是trigger word而未能正確預測其類型的詞的研究發現,主要錯誤來源于該詞附近出現了有誤導性的上下文信息,而我們的模型不能很好地判別,比如,下面這句話的fire可能會由于car的出現而被錯誤判斷未Attack的事件類型,這啟發我們去研究一個更好的能夠encode上下文的模型:
OpenKG
開放知識圖譜(簡稱 OpenKG)旨在促進中文知識圖譜數據的開放與互聯,促進知識圖譜和語義技術的普及和廣泛應用。
點擊閱讀原文,進入 OpenKG 博客。
總結
以上是生活随笔為你收集整理的论文浅尝 | 一个模型解决所有问题:实体和事件的神经联合模型的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 论文浅尝 - ICLR2020 | 通过
- 下一篇: 论文浅尝 | 利用知识图谱嵌入和图卷积网