Zihang Dai, Lei Li, and Wei Xu. 2016. CFO: Conditional focused neural question answering with large-scale knowledge bases. In Proceedings of ACL, pages 800–810.

?

鏈接：http://aclweb.org/anthology/P/P16/P16-1076.pdf

GitHub 項目地址：https://github.com/zihangdai/CFO

?

本文主要關注基于知識庫的可答單事實（single-fact）問題，并針對大規模 KB 造成的訓練困難做了一系列優化。這類 QA 可以轉化為實體和關系抽取的問題，從問題中抽出實體?和關系?，再到知識庫中去找答案。進一步轉換為概率問題：對給定的問題 ?，找到使聯合條件概率 ?(?,?|?) 最大的 (?,?) 對。

在知識庫較大時，(?,?) 對非常多，難以直接獲取聯合條件概率 ?(?,?|?) 。因此先做轉換 ?(?,?│?)=?(?|?)??(?,?|?)，然后對兩個部分分別建模。利用 KB 中關系的數量遠小于實體數量的特典，先根據問題 ? 推理出關系 ?，再根據問題 ? 和關系 ? 推理出主語實體 ?。

對 ?(?|?) 建模的部分用兩層的雙向門控循環單元（BiGRU）來構建 q 的特征表示向量，把 q 看成是一個詞序列，用事先訓練好的詞向量作為輸入，得到 q 的特征表示向量 f(q),再和 r 的特征向量 E(r) 乘積，E(r) 為模型的參數，隨機初始化。

對建模的部分為簡單起見，分開計算 ? 和 ? 對 ? 選擇的影響，再線性加和。和前半部分相比，q 的特征表示向量 g(q) 的和 f(q) 一樣，都是 BiGRU，而 ? 的特征表示向量 E(s) 則不同，文中采用了兩種方法：

pretrained embeddings：這里借鑒了他人的一種通過知識庫訓練 E(s)(E(s)+ E(r) = E(o)) 的方法預先訓練 E(s) 向量，然后再微調。

type vector representation：直接用 s 的類別屬性表示，假設知識庫中有 K 類 s，s 的向量就是 K 維，如果 s 屬于第 i 類，E(s) 的第 i 位就為 1，否則為 0。

此外，文中還提出了一種f ocused pruning method 來減少（s，r）對的候選空間，基于 N-Gram 方法做了改進，相對減少了噪聲，使候選空間更小。

實驗使用了 SIMPLE-QUESTIONS 和 Freebase 的一個子集，比當時的最好結果高 11.8%。

?

論文筆記整理：張宇軒，浙江大學碩士，研究方向為知識圖譜，物聯網。

?

---

OpenKG.CN

中文開放知識圖譜（簡稱OpenKG.CN）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。

轉載須知：轉載需注明來源“OpenKG.CN”、作者及原文鏈接。如需修改標題，請注明原標題。

點擊閱讀原文，進入 OpenKG 博客。

總結

以上是生活随笔為你收集整理的论文浅尝 | CFO: Conditional Focused Neural Question Answering的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。