论文浅尝 | Open world Knowledge Graph Completion
來源:AAAI2018
論文鏈接:https://arxiv.org/pdf/1711.03438.pdf
代碼鏈接:https://github.com/bxshi/ConMask
本文解決知識庫補全的問題,但和傳統的 KGC 任務的場景有所不同。以往知識庫補全的前提是實體和關系都已經在 KG 中存在,文中把那類情況定義為 Closed-World KGC。從其定義可以發現它是嚴重依賴已有KG連接的,不能對弱連接有好的預測,并且無法處理從 KG 外部加入的新實體。對此這篇文章定義了 Open-World KGC,可以接收 KG 外部的實體并鏈接到 KG。論文提出的模型是 ConMask,ConMask 模型主要有三部分操作:
(1)??Relationship-dependent content masking:強調留下和任務相關的詞,抹去不相關的單詞; 模型采用attention機制基于相似度得到上下文的詞和給定關系的詞的權重矩陣,通過觀察發現目標實體有時候在權重高的詞(indicator words)附近,提出 MCRW 考慮了上下文的權重求解方法。
(2)??Target fusion:從相關文本抽取目標實體的 embedding(用FCN即全卷積神經網絡的方法);這個部分輸入是masked content matrix,每層先有兩個 1-D 卷積操作,再是sigmoid激活函數,然后是 batch normalization,最后是最大池化。
為避免參數過多,在得到實體名等文本特征時本文選用語義平均來得到特征的 embedding 表示
(3)??Target entity resolution:通過計算 KG 中候選目標實體和抽取的實體的 embedding 間的相似性,結合其他文本特征得到一個 ranked list。本文設計了一個 list-wise ranking 損失函數,采樣時按 50% 比例替換 head 和 tail 生成負樣本,S 函數時 softmax 函數
論文的整體模型圖為:
本文在 DBPedia50k 和 DBPedia500k 數據集上取得較好的結果,同時作者還添加了 Closed-World KGC 的實驗,發現在 FB15k,以及前兩個數據集上效果也很不錯,證明了模型的有效性。
?
筆記整理:李娟,浙江大學博士在讀,研究興趣為知識圖譜,表示學習。
OpenKG.CN
中文開放知識圖譜(簡稱OpenKG.CN)旨在促進中文知識圖譜數據的開放與互聯,促進知識圖譜和語義技術的普及和廣泛應用。
轉載須知:轉載需注明來源“OpenKG.CN”、作者及原文鏈接。如需修改標題,請注明原標題。
點擊閱讀原文,進入 OpenKG 博客。
總結
以上是生活随笔為你收集整理的论文浅尝 | Open world Knowledge Graph Completion的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 自然语言处理系列篇——关键词智能提取
- 下一篇: 论文浅尝 | Improved Neur