筆記整理 |?譚亦鳴，東南大學博士生

---

來源：EMNLP 2020

鏈接：https://www.aclweb.org/anthology/2020.emnlp-main.469.pdf

本文關注聚合型復雜知識圖譜問答任務，這類復雜問題的答案通常需要經過一些集合操作得到，例如：選擇Selecting，計數Counting，比較Comparing，交并集Interp&Union，Boolean等，一個比較經典的問題就是 “有多少條河流同時經過中國和印度？”（下表描述了其他一些類型的復雜問題），該問題答案可以通過”Select(China, flow, river), Interp(India, flow, river), Count”得到。

在當前的研究中，復雜知識圖譜問答任務存在兩個主要挑戰：

1.不平衡的數據分布以及不穩定的模型性能：基于現有的CQA數據集，作者發現，不同類別的問題在訓練數據中的占比極不平衡（例如簡單問題占比約48.9%，而其他類型，諸如比較僅占比4.3%，其他類型的占比論文中也已給出，這里不再贅述。）；另一方面，不同類型的問題難度差異明顯。

2.面向全類別問答的單一模型性能不夠：現有的問答模型難以適用于這類包含固有類型差異的問題。

因此這篇論文的主要貢獻是：

1.作者提出了一個Meta Reinforcement Learning方法，可以自適應的對于新問題生成新參數；

2.建立了一個非監督檢索器，用于找到適用的支撐集；

3.在僅使用1%訓練樣本的情況下使模型達到了具有競爭力的結果

4.在CQA任務上達到了當前性能最佳(state-of-the-art)

方法

目標是構建一個端到端模型，將復雜的自然語言問題轉換為一系列的動作。通過執行這些動作，知識庫中相關的三元組被取出并用于獲取問題的答案。為了解決上述挑戰，作者采用了few-shot mate reinforcement learning方法用于減少模型對于數據集標注的依賴，并提升不同類型問題上的問答準確性。

圖1是論文方法的主要框架，作者將每個新的訓練問題視作偽任務上的測試樣本，目標是學習到一個專門處理這個任務的模型。當模型遇到一個問題q_mate，首先使用檢索器從訓練集中找到與之最為相似的N個樣本s^qmate,并將該問題視作元學習測試數據，用于評估模型。因此，mate樣本與問題構成了上述偽任務。

在mate-learning階段，主要包含三個目標：

1.找到優化初始參數

2.使初始參數足夠敏感

3.對每個任務生成合適的參數集

作者通過以下方式完成上述目標：

1.找到支撐集

2.使用支撐集調整programmer

3.使用微調后的programmer作用于測試樣本

4.使用測試樣本的損失更新初始參數

對應的算法如下所示：

訓練過程在強化學習的設定下完成，以batch=1為例，每個時間階段t，agent根據前置的action(t時刻之前)，輸入序列，從策略π產生一個action a_t（這里指詞，或者字符），θ則表示模型的參數（例如帶有注意力機制的LSTM模型的參數）。關聯到知識庫上的自然語言問題將會作為LSTM模型編碼器的輸入，一系列action則由解碼器輸出。

每組生成的action序列被作者視為一個軌跡(trajectory)，借由它可以執行答案的生成，之后即可得到生成答案與事實答案的相似性（similarity），該相似性被作為強化學習框架中的對應軌跡的reward R，并反饋給agent。

問題檢索器Retriever

為了從在訓練和測試階段從訓練數據中找到支撐樣本，作者提出了一個非監督的相關性函數，考慮了以下兩個方面：其一是知識庫相關元素的數量（包括實體，關系和類型）；其二則是問題的語義相似度

前者的計算方式為：

1.問題結構相似計算公式：

，其中q_e代表實體的數量

2.類型相似

3.以及關系型數據相似性計算

語義相似度上，作者基于Jaccard相似性建立了一個非監督的語義相似性公式。

假設問題q1，q2各包含一個詞集合，對于q1中的每個詞，基于一個給定的余弦相似性閾值，從q2中找到相似性最高的對應詞，兩者構成詞對集合：

接著從兩個句子中移除具有高相似關聯的詞匯，余下部分被稱為remain，代表著兩個問題之間的差異，基于這些remain，可以計算出兩個問題之間差異性：

由此可以給出兩個問題語義相似計算公式為：

通過融合上述兩者，最終得到相似計算公式為：

實驗

本文實驗所使用的數據為CQA數據集，包含944K/100K/154K的訓練集/驗證集/測試集，每個QA對包含一個復雜自然語言問題以及它的正確答案，但是并沒有給出問題對應的標準action序列。考慮到這一點，作者隨機的篩選了1%的訓練集數據，使用BFS算法構建為其標準了偽標準action序列。在問題的表示學習方面，作者使用了帶有注意力機制的LSTM。

CQA任務的評價指標為F1-值

對比的baseline包括：

1.HRED+Kvmem記憶網絡

2.NSM

3.CIPITR-All

4.CIPITR-Sep

實驗結果如下表所示，縱向為各種問題類型，橫向對比了不同模型的性能水平。

?

---

?

OpenKG

開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。

點擊閱讀原文，進入 OpenKG 網站。

總結

以上是生活随笔為你收集整理的论文浅尝 - EMNLP | 通过元强化学习实现少样本复杂知识库问答的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。