近期知识图谱顶会论文推荐，你都读过哪几篇？
精選 5 篇來自 EMNLP 2018、CIKM 2018、NAACL 2018 和 IJCAI 2018 的知識圖譜相關工作，帶你快速了解知識圖譜領域最新研究進展。
本期內容選編自微信公眾號「開放知識圖譜」。
■ 論文解讀 |?劉兵，東南大學博士，研究方向為自然語言處理、信息抽取
論文動機
在遠程監(jiān)督任務中，除了語料的錯誤標注問題，還存在句內噪聲單詞過多的問題，即多數(shù)句子都存在一些與表達關系無關的詞匯，這個問題未有人關注。當前研究的另一個問題是，句子特征抽取器采用隨機初始化的方法，存在不健壯的問題。
針對句內噪聲的問題，本文采用子樹解析的方法，去除與表達關系不相關的詞匯；針對關系抽取器不健壯的問題，本文采用遷移學習的方法，用實體分類對模型的參數(shù)做預訓練。
論文模型
本文方法包括三個部分：
1. 子樹解析：首先對句子做句法解析，然后找到兩個實體最近的共有祖先，最后取以該節(jié)點為根節(jié)點的子樹，保留句子中的這部分，其余部分丟棄；
2. 構造含有多個注意力機制的關系抽取器：采用 BGRU 作為句子語義抽取器，抽取器中添加面向單詞的注意力和面向實體的注意力。然后采用面向句子的注意力方法，結合一個實體對對齊的多個句子的信息作為實體對間關系的語義表示，用于后續(xù)的關系分類；
3. 參數(shù)遷移初始化：將模型部分結構用于實體類型分類任務，訓練得到的參數(shù)用作關系抽取器相應參數(shù)的初始化。
實驗
本文實驗進行了 held-out evaluation 和 manual evaluation，結果如下圖所示，可見取得了較好的效果。
■ 論文解讀?|?譚亦鳴，東南大學博士，研究方向為知識庫問答、自然語言處理?
本文關注任務為面向簡單問題的知識庫問答（僅用 KB 中的一個事實就能回答問題）。作者將任務劃分為實體檢測，實體鏈接，關系預測與證據(jù)整合，探究了簡單的強基線。
通過基于 SIMPLEQUEST IONS 數(shù)據(jù)集上的實驗，作者發(fā)現(xiàn)基本的 LSTM 或者 GRU 加上一些啟發(fā)式方法就能夠在精確度上接近當前最優(yōu)，并且在沒有使用神經(jīng)網(wǎng)絡的情況下依然取得相當不錯的性能。這些結果反映出前人工作中，某些基于復雜神經(jīng)網(wǎng)絡方法表現(xiàn)出不必要的復雜性。
論文動機
近期的簡單知識庫問答工作中，隨著神經(jīng)網(wǎng)絡模型復雜性的增加，性能也隨之提升。作者認為這種趨勢可能帶來對網(wǎng)絡結構有效性理解的缺失，Melis 等人的研究也佐證了這一點。他們發(fā)現(xiàn)，標準的 LSTM 通過適當?shù)恼{參，就可以得到堪比最新網(wǎng)絡模型的性能。
從這一觀點出發(fā)，作者嘗試去除不必要的復雜結構，直到獲得一個盡可能簡單但是性能優(yōu)異的模型。
方法
實體檢測（Entity Detection）?
實體檢測的目標是確認問題相關的實體，可以抽象為序列標注問題，即識別問題中的每個字符是否是實體。考慮到涉及序列處理，采用 RNN 是相對流行的做法。?
在神經(jīng)網(wǎng)絡策略上，作者以問句的詞嵌入矩陣作為輸入，在雙向LSTM和GRU上進行實驗。因為是構建 baseline，作者并未在網(wǎng)絡模型上添加 CRF 層。
非神經(jīng)網(wǎng)絡方法則選用 CRF，特征包括：詞位置信息，詞性標注，n-gram 等等。通過實體檢測，可以得到表達實體的一系列關鍵詞（字符）。
實體鏈接（Entity Linking）?
作者將實體鏈接抽象為模糊字符串匹配問題，并未使用神經(jīng)網(wǎng)絡方法。?
對于知識庫中的所有實體，作者預先構造了知識庫實體名稱 n-gram 的倒排索引，在實體鏈接時，作者生成所有候選實體文本相應的 n-gram，并在倒排索引中查找和匹配它們（策略是優(yōu)先匹配較大粒度的 n-gram）。獲取到可能的實體列表后，采用 Levenshtein Distance 進行排序篩選。?
關系預測（Relation Prediction）?
關系預測的目標是確定問題所問的關系信息，作者將其抽象為句子分類問題。對于這個子任務，作者在神經(jīng)網(wǎng)絡方法分別嘗試了 RNN 與 CNN 兩種。
RNNs：與實體檢測類似，作者也采用雙向 RNN 與 GRU 構建模型，并僅依據(jù)隱狀態(tài)作為證據(jù)進行分類，其他與目標檢測模型一致。?
CNNs：這里引用 Kim 等人（2014）的工作，簡化為單通道，使用 2-4 寬度做特征映射。?
非神經(jīng)網(wǎng)絡方法則采用了邏輯回歸策略（Logistic Regression），特征方面選擇了兩組，其一是 tfidf 與 bi-gram，其二是詞嵌入與關系詞。?
證據(jù)整合（Evidence Integration）?
該任務的目標是從前面生成的 m 個候選實體與 n 個關系中選出 (m!=n) 一個實體-關系組合。 作者首先生成 m*n 個候選組合，考慮到實體檢測和關系預測是相對獨立的模型，這意味著很多組合意義不大，可以做初步消除。
在組合打分策略上，考慮到知識庫中相同的共享節(jié)點，比如所有姓名為“亞當斯密”的人，作者對出現(xiàn)頻率過高的實體進行打分限制。
實驗結果
對比實驗基于 SIMPLEQUESTIONS 數(shù)據(jù)集，并劃分數(shù)據(jù)規(guī)模：訓練集 75.9K，驗證集 10.8K，測試集 21.7K。
作者進行了實體鏈接、關系預測和 end2end 問答三組實驗：
從各組實驗的結果可以發(fā)現(xiàn)，本文建立的基礎結構模型所得到的baseline在三個任務中，均超過了部分較新的工作。
總結
實驗結果有效驗證了作者的觀點，基本的 LSTM 或者 GRU 通過有效的調試，能夠在精確度上接近當前最優(yōu)，而非神經(jīng)網(wǎng)絡方法配合新的特征組合也能夠取得相當不錯的性能。
CIKM 2018■ 論文解讀?|?黃焱暉，東南大學碩士，研究方向為知識圖譜，自然語言處理
本文主要關注 Network Embedding 問題，以往的 network embedding 方法只將是網(wǎng)絡中的邊看作二分類的邊 (0,1)，忽略了邊的標簽信息。本文提出的方法能夠較好的保存網(wǎng)絡結構和邊的語義信息來進行 Network Embedding 的學習。實驗結果證明本文的方法在多標簽結點分類任務中有著突出表現(xiàn)。
研究背景
Network Embedding 的工作就是學習得到低維度的向量來表示網(wǎng)絡中的結點，低維度的向量包含了結點之間邊的復雜信息。這些學習得到的向量可以用來結點分類，結點與結點之間的關系預測。
論文模型
本文將總體的損失函數(shù)分為兩塊：Structural Loss 和 Relational Loss，定義為：
Structural Loss：
給定中心結點 u，模型最大化觀察到“上下文”結點 v 的情況下 u 的概率，C(v) 表示點 v 的“上下文”結點，“上下文”結點不是直接連接的結點，而是用類似于 DeepWalk 中的 random walk 方法得到。通過不斷在網(wǎng)絡中游走，得到多串序列，在序列中結點V的“上下文”結點為以點V為中心的窗口大小內的結點。
本文采用 skip-gram 模型來定義 Pr(u|v)，Φ(v) 是結點作為中心詞的向量，Φ‘(v) 是結點作為“上下文”的向量。Pr(u|v) 的定義為一個 softmax 函數(shù)，同 word2vec 一樣，采用負采樣的方法來加快訓練。?
Relational Loss：
以前也有方法利用了結點的標簽，但是沒有利用邊的標簽信息。本文將邊的標簽信息利用起來。邊 e 的向量由兩端的結點 u,v 定義得到，定義為：
其中 g 函數(shù)是將結點向量映射為邊向量的函數(shù) Rd*Rd->Rd’ ，本文發(fā)現(xiàn)簡單的連接操作效果最好。
將邊的向量信息置入一個前饋神經(jīng)網(wǎng)絡，第 k 層隱藏層定義為：
其中，W(k) 為第 k 層的權重矩陣，b(k) 為第 k 層的偏置矩陣，h(0)=Φ(e)。?
并且將預測出的邊的標簽與真實的邊的標簽計算二元交叉損失函數(shù)。真實的邊的標簽向量為 y，神經(jīng)網(wǎng)絡預測的邊的標簽向量為 y?。邊的損失函數(shù)定義為：
本文算法的偽代碼如下：
結果分析
表 1 和表 2 展示了五種方法在兩個數(shù)據(jù)集上結點分類的表現(xiàn)。本文使用了 5%，10%，20% 含有標簽的結點。本文考慮到了在現(xiàn)實中，有標簽關系的稀有性，所以本文只使用了 10% 的標簽數(shù)據(jù)。
可以觀察到即使是很小比例的標簽關系，結果也優(yōu)于基礎方法。在 ArnetMiner 數(shù)據(jù)集上表現(xiàn)得比 AmazonReviews 好的原因是，類似于 ArnetMiner 數(shù)據(jù)集的協(xié)作網(wǎng)絡，關系的標簽通常指明了結點的特征了，所以對于結點分類來說，高于 AmazonReviewers 是正常現(xiàn)象。
總結
本文的方法相比于以往的 Network Embedding 方法的優(yōu)勢在于，除了利用了網(wǎng)絡的結構信息，同時也利用了網(wǎng)絡中的邊的標簽信息。在真實世界的網(wǎng)絡中證實了本文的方法通過捕捉結點之間的不同的關系，在結點分類任務中，網(wǎng)絡中的結點表示能獲得更好的效果。
■?解讀?|?楊帆，浙江大學碩士，研究方向為知識圖譜、自然語言處理
論文動機
如今的知識圖譜規(guī)模很大但是完成度不高，long-tail 關系在知識圖譜中很常見，之前致力于完善知識圖譜的方法對每個關系都需要大量的訓練樣本（三元組），而新加入的關系其樣本數(shù)量通常不是很多。
為解決這個問題，本文提出了 One-Shot 場景下的關系學習模型，該模型通過學習實體的 embedding 和相應的局部圖結構來獲得一個匹配度量函數(shù)，最終推導出新的三元組。
論文亮點
本文提出的模型有以下亮點：
1. 只依賴于實體的 embedding 和局部圖結構（之前的方法依賴于關系的良好表示）；
2. 一旦訓練完成便可以預測任何關系（之前的方法需要微調來適應新的關系）。
概念
本文主要針對 (h,r,?) 類型的推測，即從候選集合中選出最合適的 t 來構造新的三元組 (h,r,t)，主要符號含義如下：?
G{(h,r,t)}：即原始 KG，三元組集合?
：對應于 G 中的一個關系（任務），每個 Tr 中所有三元組的 r 相同?
：任務集合
：只含有一個三元組
：為候選 t 集合?
G'：G 的子集，作為背景知識
論文模型
本文模型由兩部分組成：
1. Neighbor Encoder：該模塊利用局部圖結構對（h,t）實體對進行編碼，首先對任意 h/t 構建其 one-hop Neighbor set Ne，再利用 Encoding function f(Ne)編碼，最后將 h 和 t 的編碼連接起來便得到 (h,t) 實體對的表示，f(Ne) 形式如下：
2. Matching Processor：對于候選集?中的每一個，利用 LSTM 計算和的相似度，相似度最高的即為對應的 t，迭代過程如下：
實驗
數(shù)據(jù)集
本文的兩個數(shù)據(jù)集 NELL-One 和 Wiki-One 是作者分別基于 NELL 和 Wikidata 構建（選取其中三元組數(shù)量在 50~500 之間的關系）。
實驗結果?
作者將本文提出的模型（GMatching）與之前基于 embedding 的模型在 NELL-One 和 Wiki-One 兩個數(shù)據(jù)集上進行了比較，結果顯示該模型各項指標均優(yōu)于之前的模型。
總結
本文提出的模型利用實體的局部圖結構以及學習度量來匹配實體對，一經(jīng)訓練可以直接適用于預測任何關系，并在 One-Shot 場景下表現(xiàn)出優(yōu)越性能。
■ 論文解讀?|?汪寒，浙江大學碩士，研究方向為知識圖譜、自然語言處理
論文動機
傳統(tǒng)的規(guī)則挖掘算法因計算量過大等原因無法應用在大規(guī)模 KG 上。為了解決這個問題，本文提出了一種新的規(guī)則挖掘模型 RLvLR (Rule Learning via Learning Representation)，通過利用表示學習的 embedding 和一種新的子圖采樣方法來解決之前工作不能在大規(guī)模 KG 上 scalable 的問題。
論文亮點
本文亮點主要包括：
1. 采樣只與對應規(guī)則相關的子圖，在保存了必要信息的前提下極大減少了算法的搜索空間和計算量；
2. 提出了 argument embedding，將規(guī)則表示為 predicate sequence。
概念
1. closed-pathrule，LHS 記為 body(r)，RHS 記為 head(r)；
2. support?degree?of r，滿足 r 的實體對個數(shù)；
?
3. standard confidence 和 head coverage。
論文方法
Sampling Method?
以 head predicate Pt 為輸入，把 KG 看成無向圖，選擇到 Pt 的頭尾實體路徑長不超過 len-1 的實體和關系組成子圖 K’=(E’,F’)，后面所有的計算都基于這個子圖。?
Argument Embedding?
對于謂詞 P，它的 subject argument 定義為所有出現(xiàn)在 subject 上實體的 embedding 的加權平均，object argument 則為尾實體上實體的 embedding 的加權平均，這個主要用在后面的 score function 上，即本文引入了共現(xiàn)的信息。
對于路徑 (P1,P2) 來說，P1 的 object argument 與 P2 的 subject argument 應該很相似，這里就應用到了下面說的基于 argument embedding 的 score function。
Co-occurrence Score Function
這個 score function 就是基于上面的 argument embedding，以上圖這個長為 3 的 rule 為例，path p=P1,P2?的 embedding 是 P1*P2，之前通用的 synonymy scoring function 就是讓 p 和 Pt 的 embedding 相似，再與這個本文提出的 co-occurrence score function，結合起來就是最后的 score function，下圖左邊的就是利用了路徑的同義信息，即 body(r) 的 predicate embedding path 的乘積應當與 head 的 predicate embedding 相似。
Rule Evaluation?
根據(jù) score function 抽出來的 rule 還要進過篩選，具體做法是先排除掉 support degree 小于 1 的 rule，再過濾掉 standard confidence<minSC 和 head coverage<minHC 的 rule。
實驗
數(shù)據(jù)集?
本文的關注點是 scalable，所以選取做比較的數(shù)據(jù)集都是大規(guī)模知識庫。
實驗結果?
作者與 AMIE+ 在三個規(guī)模較大的知識庫上進行了比較，具體做法是隨機選取 20 個 target predicate 進行挖掘，其中 R 是 SC>0.1&HC>0.01 的規(guī)則，QC 是 SC>0.7 的規(guī)則，結果顯示了 RLvLR 在大規(guī)模 KG 上的效率和挖掘規(guī)則的能力。
總結
本文提出了一種可以在大規(guī)模 KG 上可以以較小計算量進行規(guī)則挖掘的模型，減少計算量的方式包括子圖采樣，argument embedding 和 co-occurrence score function。
點擊以下標題查看更多相關文章：?
叮！請查收本周份「知識圖譜」專題論文解讀
最新知識圖譜論文清單，就算看不懂也會忍不住收藏
從 6 篇頂會論文看「知識圖譜」領域最新研究進展
「知識圖譜」領域近期值得讀的 6 篇頂會論文
知識圖譜論文大合集，這份筆記解讀值得收藏
綜述 | 知識圖譜向量化表示
東南大學周張泉：基于知識圖譜的推理技術
#投 稿 通 道#
?讓你的論文被更多人看到?
如何才能讓更多的優(yōu)質內容以更短路徑到達讀者群體，縮短讀者尋找優(yōu)質內容的成本呢？?答案就是：你不認識的人。
總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發(fā)出更多的可能性。?
PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優(yōu)質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。
??來稿標準：
? 稿件確系個人原創(chuàng)作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?
? 如果文章并非首發(fā)，請在投稿時提醒并附上所有已發(fā)布鏈接?
? PaperWeekly 默認每篇文章都是首發(fā)，均會添加“原創(chuàng)”標志
? 投稿郵箱：
? 投稿郵箱：hr@paperweekly.site?
? 所有文章配圖，請單獨在附件中發(fā)送?
? 請留下即時聯(lián)系方式（微信或手機），以便我們在編輯發(fā)布時和作者溝通
?
現(xiàn)在，在「知乎」也能找到我們了
進入知乎首頁搜索「PaperWeekly」
點擊「關注」訂閱我們的專欄吧
關于PaperWeekly
PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。
▽ 點擊 |?閱讀原文?| 獲取最新論文推薦
總結
以上是生活随笔為你收集整理的近期知识图谱顶会论文推荐，你都读过哪几篇？的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： BiGAN-QP：简单清晰的编码 生成
- 下一篇： NeurIPS 2018 | 基于自监督