論文筆記整理：譚亦鳴，東南大學博士生，研究方向為知識庫問答。

---

來源：NLPCC2019

鏈接：http://tcci.ccf.org.cn/conference/2019/papers/183.pdf

???????????

??? 本文提出了一種利用問題生成提升知識圖譜問答模型性能的方法（一個框架），動機主要有兩個，其一是問答模型訓(xùn)練基于大量有標注問答數(shù)據(jù)集（人工成本高，且規(guī)模有限），其二是當問答模型面對訓(xùn)練過程中沒見過的謂詞（predicate）時，性能將會受到嚴重影響。因此作者提出基于現(xiàn)有知識圖譜和文本語料，聯(lián)合問答（QA）和問題生成（QG），將問題生成的結(jié)果用于問答模型的微調(diào)（fine-tune）中。

???????????

方法

1.????聯(lián)合策略

作者提出使用對偶學習（dual-learning）聯(lián)合QA和QG模型，訓(xùn)練的目標符合以下約束，其中 θ_qg 表示訓(xùn)練得到的 QG 模型，θ_qa 表示 QA 模型，QG 模型對于給定答案 a 生成的問題 q 需要對應(yīng) QA 模型對于問題 q 給出的答案 a：

即對于給定的問答對 <q, a>，QA 和 QG 模型均需要最小化他們的初始損失函數(shù)，規(guī)則化后如下：

作者給出了基于對偶學習的fine tuning過程如下圖，初始訓(xùn)練數(shù)據(jù)集被分別用于QA和QG模型，而后QG模型將文本語料和其內(nèi)容對應(yīng)知識庫的三元組（triple）作為輸入生成<q, a>對，用于QA模型的fine tune：

2.????問答模型

為了實驗方便，本文的簡化問答模型為一個關(guān)系分類模型（relation classification model），作者表示在現(xiàn)有高質(zhì)量 Entity Linking的 基礎(chǔ)上，實際影響問答性能的主要因素依賴于關(guān)系/謂詞的識別精度。

作者構(gòu)建了一個簡單的RNN關(guān)系抽取模型，為了更好的支持模型對未識別謂詞的處理能力，關(guān)系名被分解為詞序列，因此關(guān)系抽取實質(zhì)上是一種序列匹配+排序的過程。

問題的表示也使用了相同的RNN完成，且為得到更 general 的表示形式，問題中的實體均用<e>標記替換，得到類似于“where is <e> from”這樣的形式，同時對于<e>的類型添加了約束，以避免模型訓(xùn)練中可能存在的樣本沖突。

?

3.????問題生成模型

?????? 作者基于 Seq2Seq 翻譯模型（基于 GRU）設(shè)計并構(gòu)建了本文的 QG 過程，該模型包含圖譜和文本兩個編碼器：

圖譜編碼將給定的事實三元組中的頭實體，謂詞，尾實體分別進行編碼，而后融合三者的編碼結(jié)果，作為解碼輸入；

另一方面，對應(yīng)事實三元組的文本信息也從Wiki中抽取獲得，利用文本編碼器編碼，也作為解碼過程的輸入，從而實現(xiàn)基于知識庫的自然語言問題生成。

?

實驗

數(shù)據(jù)集

?????? 本文實驗使用的數(shù)據(jù)集包含以下兩個：

?????? SimpleQuestion：一個包含超過 10 萬標注數(shù)據(jù)的問題集，每個問題由一個實體和一個關(guān)系組成，這里作者使用到了它的子集 FB2M，包含 2M 的實體。

?????? WebQSP：一個中等規(guī)模的知識圖譜問答數(shù)據(jù)集，包含單三元組和多三元組問題，作者使用 S-MART 實現(xiàn)實體鏈接。

?

實驗結(jié)果

為了驗證模型對未知謂詞的處理能力，作者分別取5%~100%訓(xùn)練集對模型進行評估，結(jié)果如表1所示，指標反映的都是關(guān)系檢測的準確性。

?

問題生成的結(jié)果如下表所示：

該評估包含BLEU-4自動評價和人工評價。

?

問答實驗的結(jié)果如下：

?

---

OpenKG

開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜數(shù)據(jù)的開放與互聯(lián)，促進知識圖譜和語義技術(shù)的普及和廣泛應(yīng)用。

點擊閱讀原文，進入 OpenKG 博客。

總結(jié)

以上是生活随笔為你收集整理的论文浅尝 | 利用问题生成提升知识图谱问答的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。