論文鏈接：https://www.aaai.org/ocs/index.php/AAAI/AAAI18/paper/download/16369/16011

發表會議：AAAI 2018

摘要

知識圖譜表示學習旨在將實體和關系嵌入到向量空間，同時保留知識圖譜的內在結構。傳統方法主要基于關系三元組學習知識圖譜的嵌入表示。本文認為，知識圖譜中的邏輯規則對于表示學習也很有幫助，于是提出了一個新的表示學習模型RUGE (Rule-Guided Embedding)。RUGE的主要特點是，利用從知識圖譜自動抽取的規則迭代地預測未標記三元組，并將其加入訓練來增強表示學習。

方法介紹

RUGE框架如下圖所示。與傳統方法不同，該模型除了利用labeled三元組，還同時引入了unlabeled三元組和邏輯規則。RUGE利用自動抽取的規則，生成帶有置信度的unlabeled三元組并加入訓練。整個過程是迭代的，基于嵌入表示為unlabeled三元組計算soft label，然后利用soft label進行表示學習。

1. 學習資源

a)??????soft規則：帶有置信度的FOL規則。對于規則格式，舉個例子：?x, y :(x, r_s, y) ? (x, r_t, y)，表明具有關系 r_s 的兩個實體也具有關系 r_t。

b)??????labeled 三元組：正例三元組標記為1，反例三元組標記為-1。傳統方法主要利用這些 labeled 三元組進行表示學習。

c)??????unlabeled 三元組：本文中的 unlabeled 三元組特指利用規則和已知三元組可以推導出的三元組。

其中，soft規則可以利用開源系統如AMIE+自動地從知識圖譜中抽取。將soft規則中的變量替換為具體的實體，我們可以獲得規則groundings。比如，基于規則?x, y :(x,BornInCountry, y) ? (x, Nationality, y)，我們可以得到規則grounding：(EmmanuelMacron, BornInCountry, France) ? (EmmanuelMacron,Nationality, France)。本文只考慮那些前件是labeled三元組的規則groundings，這些groundings的后件三元組，就是unlabeled三元組。

2.???? 三元組和規則建模

對于三元組建模，本文采用現有模型 ComplEx [2]，三元組的真值可以直接計算得到。對于規則建模，也就是建模規則 groundings 的真值，本文采用 T-norm fuzzy logics [3]，規則的真值等于其三元組真值的邏輯組合。用?表示的真值，那么。這個地方非常巧妙，通過這個公式，規則和三元組結合在了一起，并且我們可以基于規則真值來計算 unlabeled 三元組的真值。

3. 弱標記預測

至此，一方面，我們可以基于嵌入表示來計算 labeled 和 unlabeled 三元組的“真值”，用表示；另一方面，也可以基于規則 groundings 的真值來計算三元組的實際真值，即本文所指的 soft label，用表示。本文希望，這兩個真值應該是接近的，且應當使得規則 groundings 為真。于是文本定義如下優化目標：

其中，第一個方框是兩個真值的均方誤差，是最小化的目標。第二個方框是一個約束條件，希望 groundings 的真值為1，置信度是。

4. 表示學習矯正

基于上一步，我們得到了unlabeled三元組的soft label。結合labeled三元組，本使用logistics loss進行統一優化，如下：

實驗結果

本文的主要實驗任務是傳統的關系預測。數據集采用了FB15K和YAGO37. 實驗結果如下表所示。我們可以看見，RUGE相比對比方法，取得了較好的結果。

參考

[1] Shu Guo, Quan Wang, Lihong Wang, Bin Wang, Li Guo: Knowledge Graph Embedding With Iterative Guidance From Soft Rules. AAAI 2018: 4816-4823

[2] Théo Trouillon, Johannes Welbl, Sebastian Riedel, éric Gaussier,Guillaume Bouchard: Complex Embeddings for Simple Link Prediction. ICML 2016:2071-2080

[3] H′ajek, P. The metamathematics offuzzy logic. 1998

?

論文筆記整理：孫澤群，南京大學博士生，研究方向為知識圖譜、知識融合。

?

---

OpenKG.CN

中文開放知識圖譜（簡稱OpenKG.CN）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。

轉載須知：轉載需注明來源“OpenKG.CN”、作者及原文鏈接。如需修改標題，請注明原標題。

?

點擊閱讀原文，進入 OpenKG 博客。

總結

以上是生活随笔為你收集整理的论文浅尝 | KG Embedding with Iterative Guidance from Soft Rules的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。