Citation:Shu Guo, Quan Wang, Lihong Wang, Bin Wang, Li Guo.Knowledge Graph Embeddingwith Iterative Guidance from Soft Rules. AAAI 2018.

動機

知識圖譜的分布式表示旨在將知識圖譜中的實體和關系表示到連續的向量空間中，本文考慮的問題是如何將知識庫的分布式表示和邏輯規則結合起來，并提出了一個新的表示學習方法 RUGE(Rule-Guided Embedding)。

貢獻

（1）本文提出了一種新的知識圖譜表示學習方法 RUGE，RUGE 在向量表示(embeddings)的學習過程中迭代地而非一次性地加入了邏輯規則的約束。

（2）本文使用的是已有算法自動挖掘的規則，RUGE 的有效性證明了算法自動挖掘的規則的有效性。

（3）本文提出的方法 RUGE 具有很好的通用型，對于不同的邏輯規則和不同置信度的規則的魯棒性較好。

方法 RUGE

1. RUGE 方法的輸入有三個部分：

1) 已標記的三原組：知識庫中已有三元組

2) 未標記的三元組：知識庫中不存在的三元組。在這篇論文中未標記的三元組只考慮了能夠由邏輯規則推導出的三元組。

3) 概率邏輯規則：本文主要考慮了一階謂詞邏輯規則，每一個邏輯規則都標有一個成立的概率值。實驗中使用的概率規則來自于規則自動挖掘系統 AMIE+。

?

2. 模型核心想法如下：

3. 三元組表示

本文采用了 ComplEx 作為基礎的知識庫分布式表示學習的模型，在ComplEx中，每一個實體和關系都被表示為一個復數向量，一個三元組 (e_i,r_k,e_j) 的得分函數設計如下：

其中 Re<x> 表示取 x 實部的值，bar{e}_j 為 e_j 的共軛向量。正確的三元組得分函數值會較高而不正確的三元組得分函數的值會較低。

4. 邏輯規則的表示

本文借鑒了模糊邏輯的核心思想，將規則的真值看作其組成部件真值的組合。例如一個已經實例化的規則 (e_u, e_s,e_v) =(e_u, e_t,e_v) 的真值將由 (e_u, e_s,e_v) 和 (e_u, e_t,e_v) 的真值決定。根據(Guo et al. 2016)的工作，不同邏輯算子的真值計算如下：

由上三式可推出規則真值計算公式：

此規則計算公式是后面規則應用的一個重要依據。

5. 未標記三元組標簽預測

這一步是整個方法的核心，目的在于對未標記三元組的標簽進行預測，并將這些三元組添加到知識圖譜中，再次進行知識圖譜的分布式表示學習訓練，修正向量結果。標簽預測的過程主要由兩個目標：

???????i.?????目標一：預測的標簽值要盡可能接近其真實的真值。由于預測的三元組都是未標記的，本文將由當前表示學習的向量結果按照得分函數計算出的結果當作其真實的真值。

????? ii.????? 目標二：預測的真值要符合對應邏輯規則的約束，即通過規則公式計算出的真值要大于一定的值。其中應用的規則計算公式如下：

其中 φ(e_u, e_s,e_v) 是當前向量表示計算的結果，s(e_u, e_t,e_v) 是要預測的真值。真值預測的訓練目標如下：

通過對上式對求 s(x_u) 導等于 0 可得到 s(x_u) 的計算公式：

6. 向量表示結果的修正

將預測了標簽的三元組添加到知識圖譜中，和已由的三元組一起進行訓練，來修正向量學習，優化的損失函數目標如下：

上式前半部分是對知識圖譜中真實存在的三元組的約束，后半部分為對預測了標簽的三元組的約束。

?

以上步驟在模型訓練過程中迭代進行。

實驗

鏈接預測：

從實驗結果可以看出，規則的應用提升了表示學習的結果。

?

論文筆記整理：張文，浙江大學博士在讀，研究方向知識圖譜的分布式表示與推理。

---

OpenKG.CN

中文開放知識圖譜（簡稱OpenKG.CN）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。

轉載須知：轉載需注明來源“OpenKG.CN”、作者及原文鏈接。如需修改標題，請注明原標題。

點擊閱讀原文，進入 OpenKG 博客。

總結

以上是生活随笔為你收集整理的论文浅尝 | 基于迭代的概率规则约束的知识图谱分布式表示的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。