鏈接:https://arxiv.org/pdf/1804.03317.pdf

概述

當(dāng)前大部分的 kbqa 方法為將 kb facts 與 question 映射到同一個向量空間上,然后計算相似性. 但是這樣的做法會忽視掉兩者間原本存在的單詞級別的聯(lián)系與交互. 所以本文提出一種網(wǎng)絡(luò)結(jié)構(gòu) ARSMCNN,既利用到語義的信息, 又利用到單詞級別的交互.

模型

作者提出一種稱為 attentive recurrent neural network with similarity matrix based convolutional neural network 網(wǎng)絡(luò)結(jié)構(gòu),同時運(yùn)用 attentive rnn 以及 cnn 來得到 question 與 kb facts 之間的相似度從而給出匹配得分. 上圖為完整的流程示意圖.

首先假設(shè)?個三元組(subject, relation, object)為?個 fact, 并且當(dāng) subject 與 relation 確定后,答案也會被確定下來.從而可以將問答任務(wù)分為兩個階段: entity detection 與 relation detection.

1) Entity Detection

?先利用 bilstm 訓(xùn)練模型,輸入一個問句,如果是關(guān)鍵詞則標(biāo)記為 1,否則標(biāo)記為 0. 然后將標(biāo)記為1的詞拿出來進(jìn)行 entity dectction. 作者提出了一種選取 entity candidates 的方法, 大致分為四個步驟:
a) 將標(biāo)記為 1 且距離小于等于 1 的單詞拼接成一個句子 s,如果有多個,則取長度最長的那一個.
b) 在知識庫中尋找能夠完美匹配的實體, 如果找到,則返回實體集合,如果沒有則進(jìn)行下一步.
c) 基于在 s 中最有可能存在 entity mention 的假設(shè), 可以通過 s 生成知識庫中的對應(yīng)實體 x. 所以, 以 s 為中心通過expand或者 narrow 最多兩個單詞來構(gòu)成s’,然后利用s’取尋找 entity. 如果找到了則返回實體集合,否則進(jìn)行下一步
d) 如果仍然沒有找到 match, 則利用 S 中的每個單詞來尋找包含該單詞的實體. 保證兩者有最大公共子串.

經(jīng)過實驗作者發(fā)現(xiàn)進(jìn)入到第四步的概率僅為 0.2%

2) Relation Detection

首先將問句中的實體用<s>替換, 然后進(jìn)過兩個部分進(jìn)行match score的計算.

a) semantic level:
利用 attentive rnn 作為 encoder compare 的框架, 將 question 作為輸入到 bigru中,并于 relation 做一個 attention:

然后利用 p 和 r 計算 match score:

b) literal level:

將單詞映射到 embedding 空間后,先計算相似矩陣:

隨后對這個相似矩陣進(jìn)行卷積運(yùn)算:

然后在兩個方向上做最大池化

(其中的d1,d2分別為問句和 relation 的長度)
最后再經(jīng)過一個全聯(lián)接層得到literal層面上的 match socre:

c) 將兩個層面的得分綜合起來作為最后的match socre:

訓(xùn)練過程中使用 margin ranking loss, 保證正確的relation與問句的匹配得分比負(fù)例要高:

實驗結(jié)果:

在simple question上做實驗:

筆記整理: 陳佳奧，浙江大學(xué)本科生， 研究方向為 KB-QA, NLP。

---

OpenKG.CN

中文開放知識圖譜（簡稱OpenKG.CN）旨在促進(jìn)中文知識圖譜數(shù)據(jù)的開放與互聯(lián)，促進(jìn)知識圖譜和語義技術(shù)的普及和廣泛應(yīng)用。

轉(zhuǎn)載須知：轉(zhuǎn)載需注明來源“OpenKG.CN”、作者及原文鏈接。如需修改標(biāo)題，請注明原標(biāo)題。

?

點(diǎn)擊閱讀原文，進(jìn)入 OpenKG 博客。

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的论文浅尝 | 基于RNN与相似矩阵CNN的知识库问答的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。