這是何世柱老師團隊發表于COLING2018的一篇文章。

一. 文章貢獻：

提出進行模式提取和實體鏈接，并提出模式修改程序來緩解錯誤傳播問題

學習對候選主謂詞對進行排序以使得能夠在給出問題的情況下進行相關事實檢索，我們建議通過關系檢測來增強聯合事實選擇。利用多級編碼和多維信息（計算語義相似性，問題話語和主語謂語對的多級編碼）來加強整個過程

我們的方法在Simple KB-QA任務中創造了一項新記錄

二 .數據集： Simple Questions

三. 網絡模型：

1. 模式提取和實體鏈接

要解決的問題：

識別問題中連接到KB中實體的提及范圍 （mention span） ----模式提取

生成問題應該引用的KB中的候選實體 (subject entities) ----實體鏈接（通過模式修改得到增強）

方法：

模式提取

• 通常是使用所有N-gram來檢索KB中的候選主題，但由于大量非主題N-gram，導致候選池noise太大。
• 本文將問題表達分為兩部分：涉及跨度以及問題模式（mention span 和 question pattern），其中涉及跨度是以引用KB中實體的比較少用的詞，問題模式包含常用的反映問題表達所指代的關系的單詞。
• 可以看做一個連續的標簽任務，將少見的涉及跨度的連續詞分為一種，相對常見的問題模式的詞標記為另一種。
• 所以模式提取環節的主要任務是訓練模型來預測文本涉及跨度中指向主題的連續詞。
• 最終問題被分割為（mention，pattern）對。

模式修正：

上面模式提取中由于順序標記模型的性能，在(mention,pattern)對中存在一些不好的結果，比如：上面模式提取中由于順序標記模型的性能，在(mention,pattern)對中存在一些不好的結果，比如：

• 常見的錯誤有mention span標記錯誤
• 更嚴重的錯誤比如mention是問題表達本身，pattern為空。
  
  所以對以上進行模式修正來增加好的pattern。該部分基于數據集中常見詞組成的問題模式應該多次出現，pattern出現的次數越多越正確，保留所有提取的次數大于1的pattern作為pattern base Pn，原始問題作為句子表達baseQn。對于每個句子，重新評估其提取模式來實體找到更合適的模式。

實體鏈接：找到每個問題的mention span（用來鏈接KB中的實體）。基于mention span，我們用里面的每個單詞來檢索subject entities并選擇得分最高的K個實體（這里通過最長公共子序列？？沒太懂）。

2. 關系檢測和事實選擇

關系檢測增強

• 對于一個問題，相關聯的實體有很多，為了簡化問題，對關聯實體進行排序，找出前K個最接近于gold fact的 candidate實體，訓練了一個關系檢測網絡將每個問題表達映射為最可能的pridicate。

• predicates用不同粒度來表示，分別是predicate-level和word-level，其中word-level作為predicate-level的補充來減輕數據稀疏性，因為好多predicate名稱沒有在訓練數據集中出現

• 用問題表達作為關系檢測器的輸入。相似性分數srel(r, q) 是問題表達的LSTM 編碼和predicate嵌入的cos距離。

• 提取candidate subject的顯著類型作為類型信息，利用word-level LSTM 編碼器來獲取類型信息編碼。然后再綜合考慮predicate和word level類型信息，獲取candidate subject的類型信息。

• 對于關聯實體e和對應的關系Re，生成最終的分數。選擇top-N entities生成事實池。

• 對于事實池中的每個subject entity s，有對應的predicate set Ps，問題轉化為一個事實選擇問題或者稱為一個匹配問題。給定問題q(mention,pattern),subject entities和predicates,事實選擇模型聯合找出最匹配問題提的subject和predicate.

主題匹配網絡：

• 計算問題的mention span和Predicate實體的相關性。由于單詞嵌入的范圍有限，實體名稱中很多次都是OOV單詞。計算問題的mention span和Predicate實體的相關性。由于單詞嵌入的范圍有限，實體名稱中很多次都是OOV單詞。
• 因此用character-level的RNN編碼來編碼mention span和candidate subject’s 名字，來減少OOV。

predicate匹配：

• 將從問題表達中提取的模式和相應的candidate predicate進行匹配

• 【問題模式編碼】和【predicate編碼】，然后計算相似度

總結

以上是生活随笔為你收集整理的论文略读 | Pattern-revising Enhanced Simple Question Answering over Knowledge Bases的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。