论文浅尝 | DRUM:一种端到端的可微的知识图谱上的规则学习方法
論文筆記整理:張文,浙江大學在讀博士,研究方向為知識圖譜的表示學習,推理和可解釋。
現有的多數鏈接預測方法都不能處理新的實體,并且多為黑盒方法,使得其預測結果無法解釋。本文提出了一種新的端到端的可微的知識圖譜上的規則學習方法DRUM來解決這兩個問題。
本文學習的規則形式如下:
其中B表示規則的body,H表示規則的head,DRUM的目標是學習規則對應的置信度 α,一般可將規則推理的過程轉換為向量之間的計算如下:
其中矩陣A_Bk表示關系Bk的鄰接矩陣,?是當前規則的置信度,由于此式的參數量較大且規則的結構不可提前知曉,可將其改寫為:
為了使得模型擁有能力學習變長的規則,可以引入一個特殊的關系B0其鄰接矩陣為單位陣I。同時作者證明了在這種規則計算方法下不可避免會學習到置信度較高但錯誤的規則,為了解決這個問題,DRUM中引入了置信度張量(confidence value tensor), 并將計算改寫為:
作者證明了上面的表達式有足夠的能力學習任意的規則。A_jik不是直接學習的參數而是通過雙向LSTM加全連接層生成的,如下:
實驗部分作者做了三類實驗,包括四個數據集上的統計關系學習,知識圖譜補全包括inductive鏈接預測,規則的質量以及可解釋評估。實驗結果如下:
從實驗結果中可以看出DRUM相較于可比較的方法NeuralLP在幾個任務上都有明顯提升,并且能產生更準確的規則。
歡迎有興趣的同學閱讀原文。
https://papers.nips.cc/paper/9669-drum-end-to-end-differentiable-rule-mining-on-knowledge-graphs.pdf
?
?
OpenKG
開放知識圖譜(簡稱 OpenKG)旨在促進中文知識圖譜數據的開放與互聯,促進知識圖譜和語義技術的普及和廣泛應用。
點擊閱讀原文,進入 OpenKG 博客。
總結
以上是生活随笔為你收集整理的论文浅尝 | DRUM:一种端到端的可微的知识图谱上的规则学习方法的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Java多线程系列(三):Java线程池
- 下一篇: 论文浅尝 | 将字面含义嵌入知识图谱表示