?PaperWeekly 原創 ·?作者?|?劉興賢

學校?|?北京郵電大學碩士生

研究方向?|?自然語言處理

本文是一篇有關復雜知識庫問答（Complex KBQA）的綜述，主要圍繞 Complex KBQA 遇到的挑戰、現有的方法以及解決方案角度來敘述。

目前兩類主流的復雜KBQA方法，是基于語義句法分析（SP-based）的方法和基于信息檢索（IR-based）的方法。本文從這兩個類別的角度對目前最先進的方法進行了全面的回顧。

論文題目：

A Survey on Complex Knowledge Base Question Answering: Methods, Challenges and Solutions

論文地址：

https://arxiv.org/abs/2105.11644

該論文被收錄于 IJCAI 2021，作者來自新加坡管理大學、人大、北京大數據管理分析中心重點實驗室。

知識庫問答（KBQA）旨在通過知識庫回答問題。近年來，大量的研究集中在語義或句法上復雜的問題上。本文詳細地總結了復雜 KBQA 的典型挑戰和解決方案。首先介紹 KBQA 任務的背景。接下來，我們介紹了兩類主流的復雜 KBQA 方法，即基于語義句法分析（SP-based）的方法和基于信息檢索（IR-based）的方法。

然后，我們從這兩個類別的角度對先進的方法進行了全面的回顧。具體地說，我們詳細說明了他們對典型挑戰的解決方案。最后，總結并討論了未來的研究方向。

Complex KBQA Example

對于問題“誰是 The Jeff Probst Show 提名的 TV Producer 的第一任妻子？”，可以看到該問題涉及了 7 個實體，為了回答該問題，需要 KBQA 系統有一定的推理能力與數值計算能力，然而這樣的問題對于目前的 KBQA 系統是相當困難的。

Main Challenge

1. 現有的基于語義解析（SP）的方法中使用的解析器很難覆蓋各種復雜的查詢(例如，多跳推理、約束關系和數值運算)。類似地，以前的基于 IR 的方法可能無法回答復雜的查詢，因為它們的排序是在沒有可追蹤推理的小范圍實體上執行的。

2. 復雜問題中的關系和主語越多，潛在邏輯形式的搜索空間就越大，這將大大增加計算成本。同時，更多的關系和主題可能會使基于信息檢索的方法檢索所有相關實體進行排序更加困難。

3. 這兩種方法都將問題理解作為首要步驟。當問題在語義和句法方面都變得復雜時，要求模型具有很強的自然語言理解和泛化能力。

4. 為復雜問題標注通向答案的基本事實路徑的成本很高，通常，只提供問答對。這表明基于語義解析（SP）的方法和基于信息檢索（IR）的方法必須分別在沒有正確邏輯形式和推理路徑注釋的情況下進行訓練。如此微弱的監督信號給這兩種方式都帶來了困難。

Mainstream Approaches

基于語義解析的方法（SP）

該方法旨在將自然語言的問句解析成邏輯形式，通常步驟如下：

（1）使用一個問題理解模塊，對句子進行語義和語法解析，獲得編碼后的問題。

（2）利用邏輯解析模塊將編碼后的問題轉化為一個還未實例化（未填充具體實體關系）的邏輯形式。

（3）針對知識庫，將邏輯形式與結構化的知識庫進行語義對齊，進一步實例化上一步的邏輯形式。

（4）對知識庫執行解析后的邏輯形式，通過知識庫執行模塊生成預測答案。

基于信息檢索的方法（IR）

該方法旨在使用問題中傳達的信息，直接從知識庫中檢索并排序答案。

（1）確定中心實體，并從知識庫中提取出特定于問題的子圖。理想情況下，該圖應該包含所有語文題相關的實體和關系。

（2）通過一個問題表示模塊，對輸入的問題進行編碼，該模塊分析問題的編碼并輸出推理指令，這些指令并非具有明確含義的，而是一個向量。

（3）基于圖的推理模塊通過基于向量的計算進行語義匹配，將信息沿著圖中的相鄰實體傳播并聚合。

（4）利用答案排序模塊根據推理結束時的推理狀態對圖中的實體進行排序。

Overview

總體而言，基于 SP 的方法可以通過生成可表達的邏輯形式來產生更具解釋性的推理過程。然而，它們嚴重依賴于邏輯形式和解析算法的設計，成為性能提高的瓶頸。作為對比，基于 IR 的方法對圖結構進行復雜推理，并進行語義匹配。這樣的方法適合流行的端到端訓練，并使基于 IR 的方法更易于訓練。然而，推理模型的黑盒結構使得中間推理更難解釋。

Challenges and Solutions

5.1 Semantic Parsing-based Methods

5.1.1 Overview

基于 SP 的方法遵循先分析后執行的過程，即問題理解、邏輯分析、知識庫實例化和知識庫執行。對于復雜的 KBQA，這些模塊將遇到不同的挑戰。

（1）當問題在語義和句法方面都比較復雜時，問題理解變得更加困難。其次，邏輯分析必須涵蓋復雜問題的各種查詢類型。

（2）涉及更多關系和主題的復雜問題會極大地增加解析可能的搜索空間，從而降低解析效率。

（3）人工標注邏輯形式不僅費時費力，而且訓練弱監督信號(即問答對)的SP方法具有挑戰性。

5.1.2 Understanding Complex Semantics and Syntax

作為基于 SP 的方法的第一步，問題理解模塊將非結構化文本轉換為結構化表示，這有利于后續的句法分析。

與簡單問句相比，復雜問句具有更復雜的問句類型和成分語義，增加了語言分析的難度。為了更好地理解復雜的自然語言問題，許多現有方法依賴于句法分析，例如依存關系 [Abujabal 等人，2017；Abujabal 等人，2018 [1]；Luo等人，2018 [2] ] 和抽象意義表示（AMR）[Kapanipathi 等人，2020 [3] ]，以在問題成分和邏輯元素（例如，實體、關系、實體類型和屬性）之間提供更好的對齊。?

然而，對于復雜問題，特別是對于那些具有長距離依存關系的問題，生成句法分析的準確率仍然不能令人滿意。為了減輕從句法分析到下游語義分析的錯誤傳播，[Sun 等人, 2020 [4] ] 提出了一種改進方法。利用基于骨架的句法分析方法，獲得復雜問題的主干，這是一個具有多個分支（即原文跨度的樞軸詞）的簡單問題。

另一項工作側重于利用邏輯形式的結構屬性(如樹結構或圖結構)對候選解析進行排名。他們試圖通過引入結構感知的特征編碼器 [Zhu 等人，2020 [5] ]，應用細粒度的槽匹配 [Mahehwari 等人，2019 年 [6] ]，以及添加關于查詢結構的約束來過濾噪音查詢，來改善邏輯形式和問題之間的匹配 [Chen 等人，2020 [7] ]。

5.1.3 Parsing Complex Queries

在句法分析過程中，傳統的語義句法分析（例如 CCG [Cai and Yates，2013 [8] ]；Kwiatkowski 等人，2013 [9]；Reddy等人，2014 [10]）在分析簡單問題時顯示出了它們的潛力。然而，由于本體不匹配問題，這些方法對于復雜的問題可能是次優的 [Yih 等人，2015 年 [11] ]。因此，有必要利用知識庫的結構進行更準確的解析。

為了滿足復雜問題的組合性，研究者將不同的表達邏輯形式作為目標。[Bast 和 Haussmann, 2015 [12] ] 設計了三個查詢模板作為解析目標，可以涵蓋查詢1-跳、2- 跳關系和單約束涉及關系的問題。雖然該方法可以成功地解析幾種類型的復雜問題，但它存在覆蓋范圍有限的問題。

[Yih 等, 2015 [11] ] 提出將問題解析成一個查詢圖。查詢圖是與知識庫模式緊密匹配的圖結構邏輯形式。這種查詢圖在復雜的 KBQA 任務中表現出很強的表達能力。但是，它們是由預定義的人工規則限制生成的，這不適用于大規模數據集和長尾復雜問題類型。后續工作試圖改進查詢圖的表達方式。

為了推廣到看不見的長尾問題類型，[Ding 等人, 2019 [13] ] 提出利用頻繁使用的查詢子結構進行形式化查詢生成。[Abujabal 等人，2017 [1] ] 利用句法標注提高查詢圖的結構復雜度。[Hu 等人，2018b [14] ] 應用了更多的聚合運算符（如“合并”）來擬合復雜的問題，并進行了共指消解。

5.1.4 Grounding with Large Search Space

為了獲得可執行的邏輯形式，知識庫實例化模塊用知識庫實例化可能的邏輯形式（將在知識庫中的實體關系添加進可執行的查詢語句）。由于知識庫中的一個實體可能鏈接到數百甚至數千個關系，考慮到計算資源和時間復雜性，為一個復雜問題建立所有可能的邏輯形式是代價高昂的。

最近，研究人員提出了多種解決問題的方法。[Zheng 等人，2018b [15] ] 提出將一個復雜問題分解為多個簡單問題，每個問題解析成一個簡單的邏輯形式。然后，通過這些簡單的邏輯形式生成中間答案，并聯合得到最終答案。這種分解-執行-連接策略可以有效地縮小搜索空間。

[Bhutani 等人, 2019 [16] ] 也研究了類似的方法，他們通過利用依賴關系結構減少了人工標注。同時，一些研究采用擴展排序策略，通過 Beam Search 來減小搜索空間。[Chen 等人，2019 [17] ] 首先采用逐跳貪婪搜索策略對最可能的查詢圖進行擴展，直至得到最優查詢圖。

[Lan 等人，2019c [18] ] 提出了一種迭代匹配模塊，在每個搜索步驟中無需重新訪問生成的查詢圖即可對問題進行解析。這種順序展開過程只在回答多跳問題時有效，而對于有約束或數值運算的問題則無能為力。[Lan 和 Jiang, 2020 [19] ] 定義了更多的操作來支持三個典型的復雜查詢，這可以大大減少搜索空間。

5.1.5 Training under Weak Supervision Signals

為了處理訓練數據有限或不足的問題，采用了基于強化學習（RL）的優化方法來最大化預期回報 [Liang 等人，2017 [20]；Qiu 等人，2020b [21] ]。在這種情況下，基于 SP 的方法只能在執行完完整的解析邏輯形式后才能收到反饋，這導致了嚴重的稀疏正反饋和數據低效問題。為了解決這些問題，一些研究工作采用了 reward shaping 策略來進行句法分析評估。

[Saha 等人，2019 [22] ] 當預測答案與基本事實類型相同時，附加反饋獎勵模型。[Hua 等人, 2020b [23] ] 采用類似的思路，通過將生成的邏輯形式與存儲在內存緩沖區中的高反饋邏輯形式進行比較，對生成的邏輯形式進行評估。除了對整個過程的反饋之外，語義分析過程中的中間反饋也可能有助于解決這一挑戰。

最近，[Qiu 等人，2020b [21] ] 提出了自己的觀點，將查詢圖生成問題描述為一個層次化決策問題，并提出了一種基于層次化 RL 的框架，該框架具有提供中間反饋的機制。為了加快和穩定訓練過程，[Qiu 等人，2020b [21] ] 使用一個偽 gold 過程（用手工規則生成的高反饋邏輯表格）預訓練模型。因為偽黃金程序也可以從該模型中產生，[Liang 等人，2017 [20] ] 提出通過迭代最大似然訓練過程來保持偽 gold 過程的 bootstrap 訓練。

5.2 Information Retrieval-based Methods

5.2.1 Overview

整個過程通常由檢索源構建、問題表示、基于圖的推理和答案排序模塊組成。對于復雜的 KBQA，這些模塊將遇到不同的挑戰。

（1）檢索源構建模塊從知識庫中提取問題特定子圖，該圖涵蓋了每個問題的廣泛相關事實。知識庫的不完全性 [Min 等人，2013 [24] ] 的問題不可忽視，因此提取的圖中可能缺少正確的推理路徑。這個問題更有可能發生在復雜問題的情況下。

（2）問題表示模塊理解問題并生成指導推理過程的指令。當問題很復雜時，這一步就會變得具有挑戰性。

（3）通過語義匹配對圖進行推理。在處理復雜問題時，這些方法通過語義相似度對答案進行排序，圖中沒有可追溯的推理，這給推理分析和故障診斷帶來了困難。

（4）該系統在弱監督信號（即只有問答對但沒有推理路徑）下遇到同樣的訓練挑戰。

5.2.2 Reasoning under Incomplete KB

基于 IR 的方法首先從知識庫中提取問題特定子圖，然后對其進行推理。由于簡單的問題只需要在知識庫中的中心實體鄰域上進行 1 跳推理，因此基于 IR 的方法不太可能受到知識庫固有的不完全性的影響 [Min 等人，2013 [24] ]。

相比之下，對于復雜的問題來說，這可能是一個嚴重的問題，因為在特定問題的圖表中可能沒有正確的推理路徑。此外，這種不完整性減少了用于編碼實體的鄰域信息，這給有效推理帶來了額外的挑戰。

為了應對這一挑戰，研究人員利用輔助信息（比如維基百科檢索到的與問題相關的大型文本語料庫），可以提供廣泛的非結構化知識作為補充證據。[Sun 等人，2018 [25] ] 和 [Sun 等人, 2019 [26] ] 提出用額外的問題相關文本語句來補充從不完備知識庫中提取的子圖，形成一個異構圖，并在其上進行推理。

[Xiong 等人，2019 [27]；Han 等人, 2020a [28] ] 沒有直接將句子作為節點補充到問題特定的圖中，而是在實體表示中融合額外的文本信息來補充知識。該方法首先對問句相關實體進行編碼，然后通過聚合句子的表示來補充不完整的知識庫，以增強相應的實體表示。

除了額外的文本語料庫外，還采用了知識庫嵌入的方法，通過進行缺省鏈接預測來緩解知識庫的稀疏性。受知識庫補全任務的啟發，[Saxena 等人，2020 [29] ] 利用預先訓練的知識庫嵌入來豐富學習的實體表示并解決不完整的知識庫問題。

5.2.3 Understanding Complex Semantics

一般而言，基于 IR 的方法通過神經網絡（例如 LSTM）將問題直接編碼為低維向量來生成推理指令。通過上述方法靜態生成的推理指令不能有效地表示復雜問題的組合語義。為了更全面地理解問題，最近的工作在推理過程中動態更新了推理指令。

為了把重點放在問題目前未分析的部分，[Miller 等人，2016 [30]；Zhou 等人，2018 [31]；Xu 等人，2019 [32] ] 建議用推理過程中檢索到的信息更新推理指令。除了用推理信息更新指令表示外，[He 等人，2021 [33] ] 還對指令表示進行了修改，提出用動態注意力機制關注問題的不同部分。

這種動態注意機制可以促進模型注意到問題所傳達的其他信息，并為后續的推理步驟提供適當的指導。[Sun 等人，2018 [25] ] 沒有分解問題的語義，提出使用圖表中的上下文信息來增強問題的表示。在每個推理步驟之后，他們通過聚合來自主題實體的信息來更新推理指令。

5.2.4 Uninterpretable Reasoning

傳統的基于信息檢索的方法通過計算問題和圖中實體之間的單一語義相似度來對答案進行排序，這在中間步驟較難解釋。由于復雜的問題通常會查詢多個事實，因此系統應該基于一個可追蹤和可觀察的推理過程來準確地預測圖上的答案。即使有些工作多次重復推理步驟，他們也不能沿著圖表中可追蹤的路徑進行推理。為了推導出更具解釋性的推理過程，引入了多跳推理。

[Zhou 等人，2018 [31] ] 和 [Xu 等人，2019 [32] ] 提出使在每一跳預測的關系或實體可追溯和可觀察。它們從預定義的記憶模塊中輸出中間預測（即匹配的關系或實體）作為可解釋的推理路徑。然而，它不能充分利用語義關系信息進行邊對邊推理。因此，[Han等人，2020b [34] ] 通過精確定位一組通過相同關系連接的實體，構建了一個更密集的超圖，它模擬了人的跳躍關系推理，并輸出一條順序關系路徑，使推理具有可解釋性。

5.2.5 Training under Weak Supervision Signals

與基于 SP 的方法類似，基于 IR 的方法很難在中間步驟沒有任何注釋的情況下推理正確的答案，因為模型直到推理結束才能收到任何反饋。人們發現，這種情況可能導致虛假推理 [He 等人，2021 [33] ]。

為了緩解這些問題，[Qiu 等人，2020a [35] ] 將知識庫上的推理過程定義為擴展知識庫上的推理路徑，并采用獎勵形成策略提供中間獎勵。為了評估中間步驟的推理路徑，他們利用問題和推理路徑之間的語義相似性來提供反饋。

除了在中間步驟評估推理路徑之外，更直觀的想法是推斷偽中間狀態，并用這樣的推斷信號增強模型訓練。受圖上雙向搜索算法的啟發，[He 等人，2021 [33] ] 提出了基于圖的雙向搜索算法，通過同步雙向推理過程來學習中間推理實體分布。

目前已有的工作大多集中在中間環節的監控信號增強上，而對實體鏈接環節的研究較少。研究人員使用離線工具來定位問題主題實體，這可能會導致錯誤傳播到后續推理中。為了準確定位不帶標注的主題實體，[Zhang 等人，2018 [36] ] 提出了一種新的主題實體定位方法，利用基于知識庫的中心實體識別和后續推理的聯合學習算法來訓練實體鏈接模塊。

Conclusion and Future Directions

6.1 Evolutionary KBQA

復雜 KBQA 現有方法通常是在離線訓練數據集上學習的，然后在線部署來回答用戶的問題。由于這種明確的分離，現有的 KBQA 系統大多跟不上世界知識的快速增長，無法回答新的問題。然而，用戶反饋可能會為已部署的 KBQA 系統提供改進自身的機會。

基于這一觀察，[Abujabal 等人，2018 [37] ] 利用用戶反饋糾正 KBQA 系統生成的答案，并進行進一步改進。除了驗證系統預測的正確性外，用戶也可能在答疑過程中發揮更積極的作用。

[Zheng 等人，2018a [38] ] 設計了一種交互式方式，讓用戶直接參與知識庫問答系統的問題解析過程。在未來，KBQA 系統在在線部署后要得到持續改進，對于可持續性的、不斷進化的 KBQA 的探索勢在必行。

6.2 Robust and Interpretable Models

雖然現有的方法在目前的基準數據集上取得了令人振奮的結果，但它們可能很容易無法處理分布外的情況。

Few-Shot 學習是訓練數據有限的場景。以前的一些研究 [Hua 等人，2020a；He等人，2021 [33] ] 討論了相關主題，但在分析挑戰和問題解決方面仍然遠遠不全面。

成分泛化是另一個場景，在該場景中，訓練過程新穎單詞組合應該在測試過程中被推斷出來。為了支持對這一問題的更多研究，[Gu 等人，2020 [39] ] 和 [Keysers等人，2020 [40] ] 介紹了相關數據集，即 GraQA 和 CFQ。這些模型應該能夠處理分布不均的問題，并獲得可解釋的推理過程。設計具有良好可解釋性和健壯性的 KBQA 方法可能是未來研究的一個具有挑戰性但很有前途的課題。

6.3 More General Knowledge Base

由于知識庫的不完整性，研究人員納入了額外的信息（如文本 [Sun 等人，2018 年?[25] ]、圖像 [Xie 等人，2017 [41] ] 和人與人的互動 [He 等人，2020 [42] ] ）來補充知識庫，這將進一步改善復雜的 KBQA 性能。

還有一些任務（例如，視覺問答和常識知識推理）可以表示為基于特定知識庫的問答。例如，在視覺問答中，從圖像中提取的場景圖可以看作是一個特殊的知識庫 [Hudson and Manning，2019 [43] ]。

盡管將關系知識顯性地表示為結構型知識庫，但一些研究者建議對隱性的“知識庫”進行推理。[Petroni 等人，2019 [44] ] 分析了一系列預訓練模型中的關系知識，并進行了一些后續工作 [Bouraoui 等人，2020 [45]；Jiang 等人，2020 [46] ]，進一步證明了它對回答完形填空語句的有效性。雖然現有的大部分工作都集中在傳統的結構化知識庫上，但對知識庫的更廣泛的定義和對知識庫的靈活使用可能有助于 KBQA 研究表現出更大的影響力。

參考文獻

[1] Abdalghani Abujabal, Mohamed Yahya, Mirek Riedewald, and Gerhard Weikum. Automated template generation for question answering over knowledge graphs. In WWW, 2017.

[2] [Luo et al., 2018] Kangqi Luo, Fengli Lin, Xusheng Luo, and Kenny Q. Zhu. Knowledge base question answering via encoding of complex query graphs. In EMNLP, 2018.

[3] [Kapanipathi et al., 2020] Pavan Kapanipathi, Ibrahim Abdelaziz, Srinivas Ravishankar, Salim Roukos, Alexander G. Gray, Ram′on Fernandez Astudillo, Maria Chang, Cristina Cornelio, Saswati Dana, Achille Fokoue, Dinesh Garg, Alfio Gliozzo, Sairam Gurajada, Hima Karanam, Naweed Khan, Dinesh Khandelwal, Young-Suk Lee, Yunyao Li, Francois P. S. Luus, Ndivhuwo Makondo, Nandana Mihindukulasooriya, Tahira Naseem, Sumit Neelam, Lucian Popa, Revanth Gangi Reddy, Ryan Riegel, Gaetano Rossiello, Udit Sharma, G. P. Shrivatsa Bhargav, and Mo Yu. Question answering over knowledge bases by leveraging semantic parsing and neuro-symbolic reasoning. In AAAI, 2020.

[4] [Sun et al., 2020] Yawei Sun, Lingling Zhang, Gong Cheng, and Yuzhong Qu. SPARQA: skeleton-based semantic parsing for complex questions over knowledge bases. In AAAI, 2020.

[5] [Zhu et al., 2020] Shuguang Zhu, Xiang Cheng, and Sen Su. Knowledge-based question answering by tree-to-sequence learning. Neurocomputing, 2020.

[6] [Maheshwari et al., 2019] Gaurav Maheshwari, Priyansh Trivedi, Denis Lukovnikov, Nilesh Chakraborty, Asja Fischer, and Jens Lehmann. Learning to rank query graphs for complex question answering over knowledge graphs. In ISWC, 2019.

[7] [Chen et al., 2020] Yongrui Chen, Huiying Li, Yuncheng Hua, and Guilin Qi. Formal query building with query structure prediction for complex question answering over knowledge base. In IJCAI, 2020.

[8] [Cai and Yates, 2013] Qingqing Cai and Alexander Yates. Large-scale semantic parsing via schema matching and lexicon extension. In ACL, 2013.

[9] [Kwiatkowski et al., 2013] Tom Kwiatkowski, Eunsol Choi, Yoav Artzi, and Luke Zettlemoyer. Scaling semantic parsers with on-the-fly ontology matching. In EMNLP, 2013.

[10] [Reddy et al., 2014] Siva Reddy, Mirella Lapata, and Mark Steedman. Large-scale semantic parsing without questionanswer pairs. TACL, 2014.

[11] [Yih et al., 2015] Wen-tau Yih, Ming-Wei Chang, Xiaodong He, and Jianfeng Gao. Semantic parsing via staged query graph generation: Question answering with knowledge base. In ACL, 2015.

[12] [Bast and Haussmann, 2015] Hannah Bast and Elmar Haussmann. More accurate question answering on freebase. In CIKM, 2015.

[13] [Ding et al., 2019] Jiwei Ding, Wei Hu, Qixin Xu, and Yuzhong Qu. Leveraging frequent query substructures to generate formal queries for complex question answering. In EMNLP, 2019.

[14] [Hu et al., 2018b] Sen Hu, Lei Zou, and Xinbo Zhang. Astate-transition framework to answer complex questionsover knowledge base. In EMNLP, 2018.

[15] [Zheng et al., 2018b] Weiguo Zheng, Jeffrey Xu Yu, Lei Zou, and Hong Cheng. Question answering over knowledgegraphs: Question understanding via template decomposition. In VLDB Endow., 2018.

[16] [Bhutani et al., 2019] Nikita Bhutani, Xinyi Zheng, and H. V. Jagadish. Learning to answer complex questions over knowledge bases with query composition. In CIKM, 2019.

[17] [Chen et al., 2019] Zi-Yuan Chen, Chih-Hung Chang, Yi- Pei Chen, Jijnasa Nayak, and Lun-Wei Ku. UHop: An unrestricted-hop relation extraction framework for knowledge-based question answering. In NAACL, 2019.

[18] [Lan et al., 2019c] Yunshi Lan, Shuohang Wang, and Jing Jiang. Multi-hop knowledge base question answering with an iterative sequence matching model. In ICDM, 2019.

[19] [Lan and Jiang, 2020] Yunshi Lan and Jing Jiang. Query graph generation for answering multi-hop complex questions from knowledge bases. In ACL, 2020.

[20] [Liang et al., 2017] Chen Liang, Jonathan Berant, Quoc Le, Kenneth D. Forbus, and Ni Lao. Neural symbolic machines: Learning semantic parsers on Freebase with weak supervision. In ACL, 2017.

[21] [Qiu et al., 2020b] Yunqi Qiu, Kun Zhang, Yuanzhuo Wang, Xiaolong Jin, Long Bai, Saiping Guan, and Xueqi Cheng. Hierarchical query graph generation for complex question answering over knowledge graph. In CIKM, 2020.

[22] [Saha et al., 2019] Amrita Saha, Ghulam Ahmed Ansari, Abhishek Laddha, Karthik Sankaranarayanan, and Soumen Chakrabarti. Complex program induction for querying knowledge bases in the absence of gold programs. TACL, 2019.

[23] [Hua et al., 2020b] Yuncheng Hua, Yuan-Fang Li, Guilin Qi, Wei Wu, Jingyao Zhang, and Daiqing Qi. Less is more: Data-efficient complex question answering over knowledge bases. J. Web Semant., 2020.

[24] [Min et al., 2013] Bonan Min, Ralph Grishman, Li Wan, Chang Wang, and David Gondek. Distant supervision for relation extraction with an incomplete knowledge base. In NAACL-HLT, 2013.

[25] [Sun et al., 2018] Haitian Sun, Bhuwan Dhingra, Manzil Zaheer, Kathryn Mazaitis, Ruslan Salakhutdinov, and William Cohen. Open domain question answering using early fusion of knowledge bases and text. In EMNLP, 2018.

[26] [Sun et al., 2019] Haitian Sun, Tania Bedrax-Weiss, and William Cohen. Pullnet: Open domain question answering with iterative retrieval on knowledge bases and text. In EMNLP, 2019.

[27] [Xiong et al., 2019] Wenhan Xiong, Mo Yu, Shiyu Chang, Xiaoxiao Guo, and William Yang Wang. Improving question answering over incomplete kbs with knowledge-aware reader. In ACL, 2019.

[28] [Han et al., 2020a] Jiale Han, Bo Cheng, and Xu Wang. Open domain question answering based on text enhanced knowledge graph with hyperedge infusion. In EMNLP, 2020.

[29] [Saxena et al., 2020] Apoorv Saxena, Aditay Tripathi, and Partha Talukdar. Improving multi-hop question answering over knowledge graphs using knowledge base embeddings. In ACL, 2020.

[30] [Miller et al., 2016] Alexander Miller, Adam Fisch, Jesse Dodge, Amir-Hossein Karimi, Antoine Bordes, and Jason Weston. Key-value memory networks for directly reading documents. In EMNLP, 2016.

[31] [Zhou et al., 2018] Mantong Zhou, Minlie Huang, and Xiaoyan Zhu. An interpretable reasoning network for multirelation question answering. In COLING, 2018.

[32] [Xu et al., 2019] Kun Xu, Yuxuan Lai, Yansong Feng, and Zhiguo Wang. Enhancing key-value memory neural networks for knowledge based question answering. In NAACL-HLT, 2019.

[33] [He et al., 2021] Gaole He, Yunshi Lan, Jing Jiang, Wayne Xin Zhao, and Ji-Rong Wen. Improving multihop knowledge base question answering by learning intermediate supervision signals. In WSDM, 2021

[34] [Han et al., 2020b] Jiale Han, Bo Cheng, and Xu Wang. Two-phase hypergraph based reasoning with dynamic relations for multi-hop kbqa. In IJCAI, 2020.

[35] [Qiu et al., 2020a] Yunqi Qiu, Yuanzhuo Wang, Xiaolong Jin, and Kun Zhang. Stepwise reasoning for multi-relation question answering over knowledge graph with weak supervision. In WSDM, 2020.

[36] [Zhang et al., 2018] Yuyu Zhang, Hanjun Dai, Zornitsa Kozareva, Alexander J Smola, and Le Song. Variational reasoning for question answering with knowledge graph. In AAAI, 2018.

[37] [Abujabal et al., 2018] Abdalghani Abujabal, Rishiraj Saha Roy, Mohamed Yahya, and Gerhard Weikum. Neverending learning for open-domain question answering over knowledge bases. In WWW, 2018.

[38] [Zheng et al., 2018a] Weiguo Zheng, Hong Cheng, Jeffrey Xu Yu, Lei Zou, and Kangfei Zhao. Never-ending learning for open-domain question answering over knowledge bases. In InfoScience, 2018.

[39] [Gu et al., 2020] Yu Gu, Sue Kase, Michelle Vanni, Brian M. Sadler, Percy Liang, Xifeng Yan, and Yu Su. Beyond I.I.D.: three levels of generalization for question answering on knowledge bases. In WWW, 2020.

[40] [Keysers et al., 2020] Daniel Keysers, Nathanael Sch¨arli, Nathan Scales, Hylke Buisman, Daniel Furrer, Sergii Kashubin, Nikola Momchev, Danila Sinopalnikov, Lukasz Stafiniak, Tibor Tihon, Dmitry Tsarkov, Xiao Wang, Marc van Zee, and Olivier Bousquet. Measuring compositional generalization: A comprehensive method on realistic data. In ICLR, 2020.

[41] [Xie et al., 2017] Ruobing Xie, Zhiyuan Liu, Huanbo Luan, and Maosong Sun. Image-embodied knowledge representation learning. In IJCAI, pages 3140–3146, 2017.

[42] [He et al., 2020] Gaole He, Junyi Li,Wayne Xin Zhao, Peiju Liu, and Ji-Rong Wen. Mining implicit entity preference from user-item interaction data for knowledge graph completion via adversarial learning. In WWW, 2020.

[43] [Hudson and Manning, 2019] Drew A. Hudson and Christopher D. Manning. Learning by abstraction: The neural state machine. In NeurIPS, 2019.

[44] [Petroni et al., 2019] Fabio Petroni, Tim Rockt¨aschel, Sebastian Riedel, Patrick S. H. Lewis, Anton Bakhtin, Yuxiang Wu, and Alexander H. Miller. Language models as knowledge bases? In EMNLP, 2019.

[45] [Bouraoui et al., 2020] Zied Bouraoui, Jos′e Camacho- Collados, and Steven Schockaert. Inducing relational knowledge from BERT. In AAAI, 2020.

[46] [Jiang et al., 2020] Zhengbao Jiang, Frank F. Xu, Jun Araki, and Graham Neubig. How can we know what language models know. TACL, 2020.

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經驗講解等。我們的目的只有一個，讓知識真正流動起來。

?????稿件基本要求：

? 文章確系個人原創作品，未曾在公開渠道發表，如為其他平臺已發表或待發表的文章，請明確標注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發送，要求圖片清晰，無版權問題

? PaperWeekly 尊重原作者署名權，并將為每篇被采納的原創首發稿件，提供業內具有競爭力稿酬，具體依據文章閱讀量和文章質量階梯制結算

?????投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請備注即時聯系方式（微信），以便我們在稿件選用的第一時間聯系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長按添加PaperWeekly小編

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結

以上是生活随笔為你收集整理的复杂知识库问答最新综述：方法、挑战与解决方案的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。