論文筆記整理：譚亦鳴，東南大學博士生，研究方向為跨語言知識圖譜問答。

---

來源：NAACL?2018

鏈接：https://www.aclweb.org/anthology/N18-1020

?

問題背景與動機

?

問題生成的目標是將知識圖譜三元組作為輸入，生成自然語言問題的過程。目前大多數的問題生成方法都依賴于大規模有標注數據（例如SimpleQuestion，基于freebase），但是事實上，由75.6%左右的freebase謂詞并未被SimpleQuestion所覆蓋。對于這類訓練過程中謂詞，實體類別均未知的問題生成模型，稱之為Zero-Short Question Generation（QG）。

目前的QG方法主要依據已有的QA對數據集，當遇到未知謂詞及實體類別后，問題將由隨機文本生成問題。

對于上述問題，作者從以下直覺角度提出Zero-Shot問題生成模型：

當人們嘗試根據給定知識庫三元組提出問題時，會閱讀包含這些實體或謂詞的自然語言文本，之后依據閱讀得到的詞法和語法理解，將這些信息對應到問題設計當中。

貢獻

1.????提出了一種基于encoder-decoder框架的Zero-Shot問題生成模型

2.????提出一種新的位置復制機制，用于處理問題生成過程中遇見的新謂詞、實體類型

?

模型

圖1 是本文模型的整體encoder-decoder框架結構，令F = {s,p, o}為輸入的事實信息，C為與事實相關的上下文文本，Y為對F生成的問題，整體模型的目標是，獲取到Y，使得以下公式最大化。

可以看到，在encoder部分，單個事實三元組與多組上下文語境文本分別進行了獨立的嵌入過程，并設計了各自的attention機制，其中文本嵌入采用glove方法利用詞向量得到句子的表示，知識圖譜嵌入則采用了經典的TransE模型進行表示學習。

事實三元組encoding過程：

對于輸入的事實三元組 F = {s, p, o}，每個實體 e_s,e_p, e_o 均由 K 維的 1-hot 向量表示，并利用知識嵌入矩陣 E_f（由 TransE 得到）對向量進行轉化 h_s=E_fe_s, h_p=E_fe_p, h_o=E_fe_o，得到F的編碼結果表示 h_f=[h_s; h_p; h_o]

?

上下文語境文本 encoding 過程：

對于輸入的一系列與F相關的上下文文本，在獲取到句子中詞向量表示后，利用 RNN 對句子進行 embedding。其中，文本句子 c_j 的向量表示由下式獲取；

整個文本集的向量表示則通過以下方式得到

decoder 部分則由基于 GRU 的 RNN 構成，在問題生成過程中，每一個詞的輸出，都由經過 attention 機制調整權值分布后的事實表示以及相關文本上下文表示解碼后得到。

其中，三元組 attention 主要對 s, p, o 的權值進行調整，

文本attention則是對不同文本之間的權值分布進行調整。

Part-of-Copy Action

與傳統方法使用位置信息引導 copy 方式不同，本文采用詞性信息決定輸入與輸出文本之間的對齊，輸入文本中的每個詞語都使用詞性標簽進行替換。當出現未登錄詞或者未知實體時，則通過上述對齊從文本中擇詞復制替換。

?

表2反映的就是本文采用文本加事實雙輸入的學習目標，即找到事實知識在文本中對應的表示形式（上下文），從而生成高質量的自然語言問句。

實驗

實驗數據說明

本文使用的文本問題集來自于SimpleQuestion，包括100K的問題以及對應的三元組事實，此外，引入了FB5M用于擴充三元組規模，語境文本擴充方面，則引入Wikipedia文本數據。

總體用于實驗的數據統計如下表：

實驗結果

以下是本文實驗的對比結果列表

以及一些事實問題生成的實際樣本示例：

---

OpenKG

開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。

點擊閱讀原文，進入 OpenKG 博客。

總結

以上是生活随笔為你收集整理的论文浅尝 | 基于未知谓词与实体类型知识图谱的 Zero-Shot 问题生成的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。