精選 4 篇來自 WSDM 2019、NeurIPS 2018、WWW 2018 和 COLING 2018 的知識圖譜相關工作，帶你快速了解知識圖譜領域最新研究進展。

本期內容選編自微信公眾號「開放知識圖譜」。

WSDM 2019

■ 論文解讀 | 葉群，浙江大學計算機學院，研究方向為知識圖譜、NLP

論文動機

基于 spring-electrical 的模型在網絡可視化中取得了非常成功的應用，一個優秀的網絡可視化算法意味著越相似的節點在空間中歐式距離越相近。本文將 spring-electrical 模型應用在了鏈接預測問題上，前提是假設節點之間的歐氏距離和節點之間存在 link 的概率成正相關。性能評估上，模型與 baseline 的對比顯示了其性能的優越，尤其是在 node embedding 維度很低的時候。

問題描述

知識圖譜由于種種原因，其中很多節點之間存在缺失的邊。鏈接預測算法指的是，給定網絡節點和網絡結構等信息，去預測尚未存在邊的節點之間存在鏈接的概率。

實驗中，給定網絡 G=<V,E>，我們隨機掩蓋一定比例的邊（如 10%），并采樣一部分負例作為測試集，然后將剩下 90% 的邊和所有節點作為訓練集。

評估指標采用 AUC 值：

Baseline

介紹三種常用的 baseline。

1. Local similarity indices?

分析節點周圍的局部結構，作為節點之間存在鏈接的概率（以下式子中 δ 表示節點的相鄰一跳節點）。?

Common neighbours：以兩節點公共鄰居的個數來衡量存在鏈接的概率。

Adamic-Adar index：common neighbours 的一種加權的改進。

Preferential Attachment index：以節點現有的度來衡量節點之間存在鏈接的概率（非常 na?ve 的 assumption）。

2. Matrix factorization

矩陣分解的方式將網絡的鄰接矩陣作為輸入，分解成兩個低秩的矩陣。低秩矩陣的行或列可以作為節點的 latent feature，將兩節點的 latent feature 做點積，即可得到兩節點之間存在鏈接的概率。?

Truncate SVD

Non-negative matrix factorization（NMF）

3. Neural embedding

一些工作嘗試用神經網絡來學習 graph embedding，比如經典的 DeepWalk 和 node2vec 算法，都是受 word2vec 的啟發。基本思想是將圖中的節點當做單詞，在圖中隨機游走得到一系列節點當作一個句子，然后利用 word2vec 的目標函數來做訓練。訓練完成后，將節點的 embedding 做點積，即得到節點之間存在鏈接的概率。

模型

Spring-electrical 中的 spring 指的是彈簧，electrical 指的是電荷，其基本思想是將一張圖當做一個機械系統，將圖中的節點比作電荷，將邊比作彈簧。所有的電荷均為同性電荷，相互之間存在斥力；彈簧力表現為引力。

基于這樣的假設，當這個力學系統達到平衡之后，不存在邊相連的節點將會由于斥力，在空間距離上分布較遠。

對庫倫定律進行修改，引入超參 p，電荷之間的斥力公式為：

對虎克定律進行修改，彈簧的引力公式為：

通過利用力是能量的負梯度這個性質，可以將一個力學系統轉換成能量系統，力的平衡對應系統能量的最小值。所以，目標函數為求解系統能量的極小值，即：

上式的求解存在兩個問題：1）計算復雜度過大；2）容易收斂到局部極小值。本文采用了一種叫做 ScalableForce Directed Placement（SFDP）的優化方法進行求解，較好地解決了這兩個問題。

Case Study

在實際的數據集上進行評估之前，本文先在由球體的三角剖分得到的圖上進行了 case study。鏈接預測的結果如下圖所示，可以看到 SFDP 方法取得了很好的效果，同時注意到 SFDP 方法在向量維度極小的情況（d=2,3）下，依舊取得非常好的效果。

除此之外，實驗將 d=3 的向量進行了可視化（如下圖），比較了不同模型可視化的差異。可以看到，SFDP 方法很好的保留了球體的原始形狀，SVD 向量分布在 3 條坐標軸上，node2vec 則是一個錐形。

造成這種差異的原因是，SFDP 采用了歐式距離作為損失函數，而 SVD 和 node2vec 則是基于點積。基于歐式距離的損失函數會使不相似的節點在空間上盡可能遠，而點積則會使不相似節點盡可能垂直。

實驗

實驗在以下幾個公開數據集上做了評估：PowerGrid: 美國的電力供應網絡；Euroroad: 歐洲道路交通網絡；Airport: 美國航空機場網絡；Facebook: Facebook社交網絡；Reactome: 蛋白質的相互作用網絡；Ca-HepTh:arXiv上的作者合作關系網絡。?

實驗結果如下圖所示，SFDP 在多數數據集上的表現都達到最優，同時在向量維度 d=2,3 時就可以得到非常好的實驗效果。

下表是得到最佳結果時 embedding 維度的比較，SFDP 方法在 d=2,3 維度時的結果就可以媲美其他模型 100 維甚至 500 維的效果，embedding 效率極高。

下表給出了 SFDP 模型與 localsimilarity indices 方法的效果比較：

另外實驗還在二分網絡和有向圖數據集上進行評估，并對 SFDP 做了相應的修改。

總結

本文將網絡可視化中的 spring-electrical 模型應用在了鏈接預測問題上，在數據集評估上取得了十分優越的結果，尤其是在低維空間展現了非常好的效果。Embedding 維度效率的提升可以解決向量嵌入在現實應用中的一些問題，如向量維度過高時最近鄰搜索的計算復雜度過高。后續工作可以聚焦在如何為 latent feature model 選擇更優的距離度量以及向量維度效率更深入的分析。

WWW 2018

■ 論文解讀?|?仲亮靚，東南大學碩士研究生，研究方向為基于知識圖譜的推薦系統

動機

新聞文本的語言非常凝練，其中包含了很多實體和常識知識。但目前的新聞個性化推薦方法都沒有利用這些外部知識，也沒有使用新聞之間潛在的知識層面的聯系。這就導致推薦的結果總是局限于簡單額匹配，不能合理地擴展。?

為了解決以上的問題，文章中提出了基于內容的結合知識圖譜來做新聞推薦（點擊率預測）的方法 DKN（Deep Knowledge-aware Network）。

貢獻

文章的貢獻有：

1. 新提出的 DKN 模型是基于內容的深度學習推薦模型，適合像新聞這樣的具有高度時效性的推薦；

2. 設計了 KCNN（Knowledge-aware CNN）模塊來聯合學習新聞的語義層和知識層的表示；

3. 用 Attention 模塊對用戶歷史點擊過的新聞對于當前候選推薦新聞的影響程度進行建模。

方法

文中提出的模型圖如圖 1 所示。輸入：一個用戶點擊過的新聞的標題、一條候選推薦新聞的標題；輸出：用戶點擊這條候選新聞的概率。

▲?圖1.?DKN算法模型框架

步驟：

1. 將新聞標題中的詞和知識圖譜中實體做實體鏈接；

2. 為每個實體搜索它在知識圖譜中的相鄰實體（以此來獲得更加豐富、具有區分力的信息）；

3. KCNN（融合新聞的詞表示和新聞表示，得到一個新聞的 Knowledge-aware 的向量表示）。

• 多通道（multi-channel）：把 word embedding、entityembedding、上下文實體 embedding 作為 CNN 的三個通道；

• 詞語-實體對齊（word-entity-aligned）： 將標題中的詞向量和實體向量一一對應，如果詞向量在知識圖譜中沒有與之對應的實體，就用 0 向量來填充。

因為詞向量和實體向量來自兩個不同的向量空間且訓練出來的相連的維度也不一樣，所以通過一個線性或非線性的方法將實體向量映射到詞向量空間中。最終得到新聞的如下形式的矩陣表示：

其中，w_i 表示標題中第 i 個詞的詞向量，e_i 表示與第 i 個詞對應的實體的向量，\bar{e_i} 表示第 i 詞對應的實體在知識普圖中的上下文信息（所有與它相鄰的實體的向量的均值）。將得到的多通道堆疊矩陣放入 CNN 中，最終得到新聞的 embedding 結果。

Attention-based用戶興趣抽取?

用戶對于自己點擊過的每個新聞話題的興趣并不是完全一樣的，所以用戶點擊過的每個新聞對于用戶是否點擊候選推薦新聞的影響力也是不一樣的，因此這里需要加入 Attention 機制。

輸入：兩條新聞標題（用戶點擊過的一條新聞和候選新聞）的 KCNN embedding 結果；輸出：該條歷史新聞對于候選新聞點擊率的影響權重。

將兩個 embedding 結果做全連接，然后使用一個 DNN（公式中用 H 表示）作為 Attention 網絡，最后再用 softmax 函數來規格化影響權重，具體公式如下：

把這些歷史新聞的向量和對應的權重，做加權平均，作為用戶的 embedding 結果。

最后再將用戶的 embedding 結果、候選推薦新聞的 embedded 結果做全連接，放到一個 DNN（公式中用 G 表示）中，得到最終的用戶點擊該條候選新聞的概率。

實驗

數據來源：Bing News 的系統日志。

數據特征：實驗中給出了新聞數據中新聞標題所含的詞語數量平均值、新聞標題中包含的實體數量平均值、添加上下文實體后得到的實體數量平均值等，表明了加入知識圖譜中的相鄰實體確實能夠豐富新聞的特征，具體如下表所示。

實驗對比：

1. 文中把當前引入深度學習的協同過濾算法（DFM）和基于內容（KPCNN、DSSM、DeepWide、DeepFM、YouTubeNet）的個性化推薦算法都做了對比，實驗表明 DKN 算法的推薦效果最好；

2. 對于 DKN 算法中，也做了使用不同知識表示學習算法、是否加入 Attention 機制、是否將 entity embedding 結果轉換到 word embedding 結果的向量空間中、以及三種輸入信息（Word embedding）、Entity embedding、上下文 embedding）組合都做了對比實驗，實驗表明使用三種輸入信息、TransD 方法、非線性映射方法并加入 Attention 機制的效果最好。

總結

論文中所提出的模型主要部分還是使用了 CNN 和 Attention 這兩個的組合，主要創新點還是在于首次將知識圖譜引入到新聞推薦算法中，也就是利用知識圖譜來提取更多的新聞特征應用推薦算法中。

COLING 2018

■ 論文解讀?|?譚亦鳴，東南大學博士生，研究方向為跨語言知識圖譜問答

問題背景與動機

多關系問答（multi-relationquestion answering）是知識問答的一個重要任務，“多關系”指的是問題中包含多個關系和實體信息，為了回答這類問題，需要對知識庫中多個事實三元組進行分析和推理。?

現有的方法主要可以分為兩類：基于語義分析和基于 embedding。基于語義分析的方法主要依賴于人工特征與標注，但是泛化能力較弱。基于 embedding 的方法一般利用弱監督機制訓練得到 end-to-end 問答模型，但是現有的方法主要依賴于相似度計算而在推理方面有所欠缺。?

在這篇文章中，作者提出可解釋推理網絡（Interpretable Reason Network，IRN）模型用于解決多關系問答。通過多跳推理的形式完成多關系問題的問答過程。

貢獻

本文亮點主要包括：?

1.?提出面向多關系問答的 IRN 模型，并在性能上取得了 state-of-art；

2. 相對于現有推理網絡，這篇文章提出的方法更具可解釋性，多跳推理的過程可以清晰的反映答案生成的過程。

模型

IRN 的整體框架如圖所示，其中包含三個子模型：Input Module，ReasoningModule，Answer Module，分別用于問句的 embedding，三元組推理以及答案的生成。?

以問題‘How old is Obama’s daughter?’為例，問題的解析、推理和回答過程包含三跳（3 hops），每個 hop 包含的過程相同，描述如下：

1.?Input Module：輸入問題（僅初始），得到問題的?embedding?形式?q；

2.?Reasoning Module：輸入?q，以及對問題?NER?得到的實體信息?e₁，找到對應的關系?r₁；_?

3.?Input Module：將已識別關系信息?r_1?從?q?中去除，得到更新的?q’，用于下一步推理；

4.?Answer Module：根據已得到的?e_1?和?r_1?從知識庫中找到對應的答案信息；

5.?Reasoning Module：將已分析實體信息?e_1?與關系信息?r_1?融合，并用于下一步推理。

其中，獲取關系 r 的計算過程如以下公式所示：

實驗

本文實驗所使用的數據基于 WorldCup2014，數據集的統計信息由表 1 所示。?

實驗結果?

對比模型說明：?

1. Embed (Bordes et al., 2014b)：利用 embedding 空間將問題和答案進行匹配的方法；

2. Subgraph (Bordes et al., 2014a)：在 Embed 基礎上利用實體子圖加強答案實體的表達；

3. Seq2Seq (Sutskever et al., 2014)：使用基于 LSTM 的 encoder-decoder 實現的語義解析模型；

4. MemN2N (Sukhbaatar et al., 2015)：使用記憶網絡構建的 end2end 模型，其中記憶單元包含了相關的三元組信息；

5. KVMemN2N (Miller et al., 2016)：在 MemN2N 的基礎上，將記憶單元劃分為鍵-值兩個部分，鍵為頭實體及關系，值為尾實體；

6. IRN-weak (This paper)

可解釋性分析：

表 3 反映了 IRN 在多跳過程中識別關系和實體的精準度，r1/e1 -> rn/en -> a。

NeurIPS 2018

■ 論文解讀?|?吳楊，浙江大學計算機學院，研究方向為知識圖譜、NLP

動機

在視覺問題回答中，較為復雜的問題經常需要多步驟的推理才能夠回答，比如說“What isplaced next to the bus on the right of the picture?”這樣的問題，我們需要先根據 (bus, on theright of, picture) 這組關系找到 bus on the right 這個復合物體，然后繼續去尋找 next to [buson the right] 這個物體最終來解決這個問題。

而本文則提出了一個 VQA 的推理鏈（Chain of Reasoning, CoR），能夠充分利用圖片和問句的信息對復雜問題中的關系和復合物體的尋找，并取得了非常好的效果。

本文的主要貢獻在于：?

• 提出了 VQA 推理鏈方法，能夠動態的產生新的關系和復合物體以對問題進行推理；

• 在 4 種主要的數據集上都產生了 state-of-the-art 的效果；?

• 對 CoR 的中間過程產生的復合物體進行了可視化。

方法

概述

VQA 的一種通用解法是將圖片和問題映射到同一個向量空間后使用 element-wise 乘法或者 MLP 等等轉化成分類問題。

本文的過程也是這樣。圖片經過 RCNN 轉化為 m 個初始物體的向量表示之后，我們將這些物體兩兩組合起來，就可以獲得 m*m 個關系的向量表示，然后利用問題的 embedding 從這 m*m 個關系向量中，產生出新一輪的 m 個復合物體，這樣一直循環下去最終得到問題的答案表示的那個復合物體。

也就是說，本文和常規的想辦法將問題解構成簡單問題的思路不同，反而是將已有的可能是答案的物體進行組合，再用問題去挑選和進一步組合這些物體。

Data Embedding部分

將問題通過 GRU 轉化成為維度的向量。將圖片通過 RCNN 轉化為維度的向量，其中 V 中保存著 m 個初始物體的向量表示。

CoR 部分

第一步：產生 Attention 和本輪輸出

將圖片轉成的向量 V 作為第一輪 CoR 的復合物體（橘黃色部分），將其向量映射到 Ds 維度，將問題向量映射到 Dp 維度，然后分別采用 2 個變換矩陣將他們映射到同一維度 Df，并使用 element-wise 乘法乘起來產生 m 維 Df 的向量（紫紅色部分），上述過程重復 K 次，（Mutan 方法）對得到的紫紅色向量加到一起，經過 MLP 最終產生 m 維的 attention（黑白灰 3 維部分）。

總的來說，本步驟的目的是計算問題對復合物體的 Attention。并準備產生 m*m 個關系 embedding。最后，用這個 Attention 對復合物體進行操作就可以產生本輪的輸出了。其中各部分的公式表示如下：

其中，Pt，St 表示初步把問題和復合物體轉化到的 embedding。Ft 表示將他們映射到同一維度并進行 element-wise 產生紫紅色節點的部分。At 表示獲得的 Attention，Ot 表示本輪的輸出。

第二步：產生 m*m 個關系的 embedding

這一步中，我們首先將問題轉化成為兩個向量（黑白灰很長的向量），然后分別用該向量對 m 個復合物體進行 element-wise 相乘，并將第一個作為關系向量的 m*1 維行向量，第二個作為 1*m 維列向量，將這兩個向量對應項相加合并成為 m*m 維向量作為關系向量（金黃色的部分）。涉及的公式如下：

其中 Gl 為第一個問題向量，Gr 為第二個問題向量，Rij 為最終的 m*m 維關系向量。?

第三步：產生新的 m 個復合物體 embedding

利用第一步得到的 Attention，對產生的 m*m 維關系向量進行操作得到新的 m 個復合物體（這里論文原本打算直接保留 m*m 個向量送到下一輪，但是這樣會導致復雜度成指數級上升）涉及到的公式為：

決策部分

對于 CoR 部分產生的 T 個輸出向量 Ot，我們將之連接起來成為新的長向量，再將之和問題映射到同一維度，進行 Element-wise 乘法，最后經過矩陣變換+softmax 成為最終每個類別的概率。涉及的公式如下：

這里的 O* 表示長向量，H 表示 Element-Wise 得到的向量，a 表示最終的概率向量。

訓練部分

訓練的時候，主要是確定訓練集的概率向量。如果對于一個 Q 對應一個 A 的訓練集，顯然我們取 A 那一維度的值為 1，其它都取 0 即可。但 VQA 數據集的答案是由多個人標記的。標記的結果可能不同。因此需要平均一下：

對于最終的 loss 我們用 K-L 散度計算：

實驗

1. 在各數據集上取得的成果：

從上表中可以看出，在幾乎所有的數據集上，模型都有提升，有些問題類型的提升不是很明顯，但在 Color 和 Num 這兩類問題的提升較大，有將近 6 個百分點。

2. 可視化

這一部分中，本文對 CoR 過程中產生的復合物體進行了可視化，可視化的方法是遍歷 1105904×36 個方框，并對方框中圖片的內容計算其與復合物體的相似度。其中紅色方框和藍色方框分別是 Attention 中權重最大的兩個復合物體。

其中前三個問題都得到了很好的回答，而且復合物體尋找也是正確的，最后一個判斷錯誤的原因可能是因為該問題太復雜，而 CoR 的跳數在本文中取了 3 跳。可能無法解決該問題。

總結

本文提出了 VQA 系統中利用推理鏈 CoR 解決多跳推理問題的方法，通過將圖片中的物體進行多步的組合形成復雜的物體，并利用問題對這些物體進行選擇和重新組合，最終取得答案需要的那些物體從而解決問題的方法。

點擊以下標題查看更多相關文章：?

• 叮！請查收本周份「知識圖譜」專題論文解讀

• 5篇頂會論文帶你了解知識圖譜最新研究進展
  

• 近期知識圖譜頂會論文推薦，你都讀過哪幾篇？

• 「知識圖譜」領域近期值得讀的 6 篇頂會論文

• 知識圖譜論文大合集，這份筆記解讀值得收藏
  

• 綜述 | 知識圖譜向量化表示
  

• 東南大學周張泉：基于知識圖譜的推理技術

#投 稿 通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？?答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

??來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

? 投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

?

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點擊 |?閱讀原文?| 獲取最新論文推薦

總結

以上是生活随笔為你收集整理的近期知识图谱顶会论文推荐，另附超详笔记解读的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。