Citation: Wang H, Zhang F, Xie X, et al. DKN: Deep Knowledge-Aware Networkfor News Recommendation[J]. 2018.

Published at: The 27th International Conference on World Wide Web (WWW'18)

URL：https://arxiv.org/pdf/1801.08284.pdf

Motivation

推薦系統最初是為了解決互聯網信息過載的問題，幫助用戶針推薦其感興趣的內容并給出個性化的建議。新聞具有高度時效性和話題敏感性的特點，一般而言新聞的熱度不會持續太久，而且用戶關注的話題也多是有針對性的。其次，新聞的語言高度濃縮，往往包含很多常識知識，而目前基于詞匯共現的模型，很難發現這些潛在的知識。因此這篇文章提出了 DKN，將知識表示融合到新聞推薦系統中。

DKN Model

首先看一下 DKN 模型的框架，如下圖所示。

DKN 模型主要分成三部分：知識抽取（Knowledge Distillation）、知識感知卷積神經網絡（KCNN: Knowledge-aware CNN）、用于抽取用戶興趣的注意力網絡（Attention Network: Attention-based UserInterest Extraction）。下面對這三部分進行詳細的介紹。

1.????知識抽取

知識抽取模塊的輸入是一些用戶點擊的新聞標題以及候選新聞的標題。整個過程可以參見下圖。

首先將標題拆成一組詞，然后將標題中的詞與知識庫的實體進行鏈接。如果可以找到詞所對應的實體，那么再接著找出距離鏈接實體一跳之內的所有鄰接實體，并將這些鄰接實體稱之為上下文實體。尋找上下文實體的過程如下圖所示。

這樣，根據新聞標題可以得到三部分的信息，分別是詞，鏈接實體，以及上下文實體。利用 word2vec 模型可以得到詞的向量表示，利用知識圖譜嵌入模型（這里用的 TransD）可以得到知識庫實體的向量表示。其中，鏈接實體的表示就是 TransD 的訓練結果，如果鏈接不上就 padding。上下文實體的表示就是對多個實體的表示進行平均，如果前一步沒有鏈接實體這里也同樣 padding。由此分別得到了詞、鏈接實體、上下文實體的向量表示。

2.????知識感知卷積神經網絡 KCNN

在得到新聞標題三方面信息的向量表示之后，下一步是要將它們放到同一個模型中進行訓練。但是這里存在的問題是，三者不是通過同一個模型學出來的，直接放到同一個向量空間不合理。這篇文章使用的方法是，先把鏈接實體、上下文實體的向量表示通過一個非線性變換映射到同一個向量空間：

然后類似于圖像中 RGB 的三通道，將詞、鏈接實體、上下文實體的向量表示作為CNN多通道的輸入。這樣 KCNN 的輸入就可以表示為

然后通過卷積操作得到新聞標題的向量表示

KCNN 的架構可以參加下圖。這里還用了不同大小的卷積核進行卷積。

3.????注意力網絡

給定用戶 i 的點擊歷史新聞：

通過 KCNN 得到它們的向量表示：

采用一個 DNN 作為注意力網絡和一個 softmax 函數計算歸一化影響力權重

這樣可以得到用戶i關于候選新聞t_i的向量表示：

用戶i點擊新聞 t_j 的概率由另一個 DNN 預測

Experiments

數據集

這篇文章的數據來自 bing 新聞的用戶點擊日志，包含用戶 id，新聞 url，新聞標題，點擊與否（0未點擊，1點擊）。搜集了 2016 年 10 月 16 日到 2017 年 7 月 11 號的數據作為訓練集。2017年7月12號到8月11日的數據作為測試集合。使用的知識圖譜數據是 Microsoft Satori。以下是一些統計數據以及分布。

實驗結果

實驗用的評價指標是 AUC 和 F1。

對比實驗結果如下表所示。

下面這張表展示了 DKN 本身的一些變量對實驗結果的影響

筆者認為，DKN 的特點是融合了知識圖譜與深度學習，從語義層面和知識兩個層面對新聞進行表示，而且實體和單詞的對齊機制融合了異構的信息源，能更好地捕捉新聞之間的隱含關系。利用知識提升深度神經網絡的效果將會是一個不錯的方向。

本文作者鄧淑敏，浙江大學計算機學院2017級直博生，研究方向為知識圖譜與文本聯合表示學習，動態知識圖譜，時序預測。

---

OpenKG.CN

中文開放知識圖譜（簡稱OpenKG.CN）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。

轉載須知：轉載需注明來源“OpenKG.CN”、作者及原文鏈接。如需修改標題，請注明原標題。

?

點擊閱讀原文，進入 OpenKG 博客。

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的论文浅尝 | 一种用于新闻推荐的深度知识感知网络的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。