论文浅尝 | 将文本建模为关系图,用于联合实体和关系提取
論文筆記整理:余海陽,浙江大學碩士,研究方向為知識圖譜、自然語言處理。
鏈接:https://www.aclweb.org/anthology/P19-1136
?
動機
本文提出了一種利用圖卷積網絡(GCNs)聯合學習命名實體和關系抽取的端到端抽取模型GraphRel。之前抽取模型較少的同時抽取命名實體和關系,而且對實體對間的多關系問題處理不當,并且很少考慮不同關系間的相互影響,特別是一對實體間的多個關系之間的作用。
亮點
與之前的模型相比,我們通過關系加權的GCN來考慮命名實體和關系之間的交互,從而更好地提取關系。同時利用線性結構和依賴結構用于提取文本的序列特征和區域特征,并利用完整的詞圖進一步提取文本所有詞對之間的隱式特征。使用基于圖的方法,對重疊關系的預測比以前的順序方法有了很大的改進。我們在兩個公共數據集上評估GraphRel:NYT和WebNLG。結果表明,GraphRel在大幅度提高查全率的同時,保持了較高的查全率。GraphRel的性能也比之前的工作好3.2%和5.8% (F1分),實現了一種新的關系提取技術。
模型
模型整體的框架如下圖。
?
模型分為兩個階段的預測。
第一階段:
首先使用word embedding和pos embedding一同喂到Bi-LSTM網絡中。然后輸入得到的雙向結果,分別喂到GCN網絡中,由此構成Bi-GCN網絡架構。GCN的鄰接矩陣為句子的語法依賴樹得到的結果,在依賴樹中相連則鄰接矩陣中的權值為1,否則為0。雙向GCN的結果再拼接一起,得到最終encoder的結果。
在第一階段預測中,將Bi-GCN得到的結果經過一個RNN之后再經過一次全連接層,即可做實體預測的任務。在關系預測中,將句子中詞語兩兩組合分別去計算關系。具體公式如下:
第二階段:
將第一階段得到的結果,繼續經過gcn,此時的gcn鄰接矩陣的權值就是第一階段求得的relation概率值。如此經過gcn之后再做聚合,然后繼續做預測任務即可。公式如下:
實驗
我們使用紐約時報(Riedel et al. 2010)和WebNLG(Gardentet al.2017)的數據集來評估該方法NYT和WebNLG的統計數據如表2所示。
我們把關系種類分為三類:Normal、entityairoverlap(EPO)和SingleEntityOverlap(SEO)。每個類別的計數也顯示在表2中。實驗結果如下:
?
另有樣例分析,證明兩階段的抽取比單獨第一階段的抽取效果好。
總結????????????????????????
本文提出了一種基于圖卷積網絡(GCN)的端到端關系抽取模型GraphRel,該模型可以聯合學習命名實體和關系。將RNN和GCN相結合,不僅提取整體序列特征,而且可以提取每個詞的區域依賴特征。我們的方法還考慮了文本中所有詞對之間的隱式特征。我們預測每對詞之間的關系,解決了實體重疊的問題。此外,我們還引入了一種新的關系加權廣義網絡,它考慮了命名實體和重命名之間的相互作用。我們在NYT和webnlg數據集上對該方法進行了評估。結果表明,該方法比以往的方法分別提高了3.2%和5.8%,實現了一種新的關系提取方法。
OpenKG
開放知識圖譜(簡稱 OpenKG)旨在促進中文知識圖譜數據的開放與互聯,促進知識圖譜和語義技術的普及和廣泛應用。
點擊閱讀原文,進入 OpenKG 博客。
總結
以上是生活随笔為你收集整理的论文浅尝 | 将文本建模为关系图,用于联合实体和关系提取的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 论文浅尝 - ICML2020 | 跨域
- 下一篇: 征稿 | Call for papers