論文筆記整理：朱渝珊，浙江大學直博生。研究方向：知識圖譜，快速表示學習等。

---

論文鏈接：https://arxiv.org/pdf/1910.02481.pdf

本文是ICLR 2020的一篇關于知識圖譜中關于復雜（樹狀、組合）規(guī)則可微學習的文章。提出了神經邏輯歸納學習（NLIL），一種可微分的ILP方法，擴展了針對一般ILP問題的多跳推理框架。NLIL將搜索空間分解為一個層次結構中的3個子空間，每個子空間都可以通過注意力高效地進行搜索。作者證明通過這種方式模型可搜索的規(guī)則比使用NeuralLP等方式搜索的規(guī)則長10倍，且擁有更快的速度。

1. 相關背景

1.1 Inductive Logic Programming (ILP)

一階邏輯系統(tǒng)有3個組件：實體，謂詞和公式。以下圖為例：

實體是對象x∈X。圖像中某區(qū)域是實體x，所有可能區(qū)域集合是X。

謂詞是將實體映射到0或1的函數(shù)，Person:x →{0,1}，x∈X。謂詞可有多個輸入，如“Inside”是接受2輸入的謂詞，參數(shù)的數(shù)量稱為Arity。原子是應用于邏輯變量的謂詞符號，如person(X)和Inside(X,X')。

一階邏輯（FOL）公式是使用邏輯運算{∧，∨，?}的原子的組合。給定一組謂詞P ={P1...PK},謂詞Pk的解釋定義為一階邏輯蘊涵，

?? Pk(X,X')是蘊涵的頭，如它是一元謂詞，則為Pk(X)。A為規(guī)則主體，如

代表著這樣的知識：“如果物體在車內，身上有衣服，那就是人”。

1.2 多跳推理：

ILP問題與KG多跳推理任務相關。此處，事實存儲在謂詞Pk的二進制矩陣Mk中，Mk(i,j)=1表明三元組在KG中。

給定查詢q=

M(t)是在第 t 跳中用的謂詞的鄰接矩陣。v(t)是路徑特征向量，v(t)中第j個元素計算從x到xj的唯一路徑的數(shù)量。經過T步推理后，查詢的分數(shù)計算為

對于每個q，目標是（i）找到一個合適的T，（ii）為每個t∈[1,2，...，T]，找到一個合適的M（t），使得score最大。這兩個離散的選擇可以放寬,即

此為軟路徑選擇函數(shù)，參數(shù)為

（i）路徑注意向量，選擇長度在1到T之間回答查詢的最佳路徑。

（ii）謂詞注意向量，在第t步選擇M(t)。

這兩個注意向量是通過下述模型生成的

參數(shù)w可學習。以前的一些方法，T(x; w)是一個隨機游動采樣器，它會生成one-hot向量來模擬從x開始的圖形上的隨機游動。在NeuralLP中，T(x; w)是一個RNN控制器，目標定義為

在多跳推理中學習關系路徑可以解釋為使用鏈狀FOL（一階邏輯）規(guī)則解決ILP問題

與基于模板的ILP方法（如?ILP）比，此類方法在規(guī)則探索和評估中非常有效。但是，存在兩個問題

（P1）規(guī)則的表達性不足，僅能表達鏈狀規(guī)則，例如等式(2)不是鏈狀的就不能表示。

（P2）注意生成器T(x; w)取決于特定查詢q的實體x，這意味著針對目標P*生成的解釋可能因查詢而異，很難學習KG中全局一致的FOL規(guī)則。

2. 算法模型

推理過程中所有中間實體都用首尾實體表示

如上將公式（1）轉換為（7）所示，實現(xiàn)方法就是通過轉換的函數(shù)（操作符）：將每個謂詞k都視為一個操作符?k，如下所示，U是一元謂詞，B是二元謂詞

則規(guī)則（2）可以表述成規(guī)則（8），這樣首尾實體在具體實現(xiàn)時用隨機初始化的向量表示，擺脫了數(shù)據依賴

擴展到樹狀規(guī)則

提出Primitive Statements（基本語句）的概念，公式（8）可視為兩個基本語句組成，和

每個基本語句都是從輸入空間映射到一個置信度得分標量

公式（3）可表示為

如下圖所示，樹狀規(guī)則可表示為

規(guī)則之間的組合

把基本語句用{∧，∨，?}進行邏輯組合，如公式（8）就是兩個基本語句的邏輯“and”操作。邏輯 “not” 及邏輯 “and” 運算如下表示

第l級的公式集以及最后的得分就可如下方式推得

整個流程可以如下圖所示

其中都是注意力，W/sum 是加權和，Matmul 指矩陣乘積，Neg 是邏輯“not”，XEnt 是交叉熵。

具體實現(xiàn)上：Hierarchical Transformer Networks for Rule Generation，引入“虛擬”自變量X和X’，學習的參數(shù)有邏輯謂詞向量 和相應的注意力參數(shù)，公式為

其中h*是P*的嵌入，因此注意力僅相對于P*有所不同。

3. 實驗

Baseline

?NeuralLP? (Yang , 2017)

??ILP? (Evans , 2018)

?TransE? (Bordes , 2013)

?RotatE? (Sun , 2019)

Dataset

?ES(Even-and-Successor)? (Evans , 2018) ：兩個一元謂詞Even，Zero和一個二元謂詞Successor。目標是學習一組整數(shù)上的FOL規(guī)則。本文對從0開始的10、50和1K個連續(xù)整數(shù)評估。

?FB15K-237

?WN18

?VG(Visual Genome)，視覺領域數(shù)據，以物體檢測任務為基礎，將圖片上的物體之間的關系抽象成小的知識圖譜

FB15k-237和WN18數(shù)據上鏈接預測

ES數(shù)據上與不同算法對比，(a)時間 (mins)，(b)規(guī)則長度

VG數(shù)據集，不同training-set大小

雖然基于豐富標簽數(shù)據的監(jiān)督學習方法達到了比較好的效果，但是NLIL僅僅利用稀疏的（0/1）標簽就能達到匹敵的效果，甚至顯著優(yōu)于一種監(jiān)督模型baseline的效果，進一步體現(xiàn)出了模型的有效性。在少樣本學習（訓練樣本僅0.01%）也體現(xiàn)出更好性能。

4．總結

本文提出了神經邏輯歸納學習，這是一個可區(qū)分的ILP框架，可以從數(shù)據中學習解釋性規(guī)則。

證明了NLIL可以擴展到非常大的數(shù)據集，同時能夠搜索復雜的表達規(guī)則。更重要的是，本文還證明了可擴展的ILP方法在解釋監(jiān)督模型的決策方面是有效的，這為檢查機器學習系統(tǒng)的決策過程提供了另一種視角。

?

---

?

OpenKG

開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜數(shù)據的開放與互聯(lián)，促進知識圖譜和語義技術的普及和廣泛應用。

點擊閱讀原文，進入 OpenKG 博客。

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結

以上是生活随笔為你收集整理的论文浅尝 - ICLR2020 | 通过神经逻辑归纳学习有效地解释的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。