轉(zhuǎn)載公眾號(hào) | 南大Websoft

---

概述

? ? 近兩年來(lái)NLP領(lǐng)域出現(xiàn)了一些富有挑戰(zhàn)性的機(jī)器閱讀理解數(shù)據(jù)集，如ReClor和LogiQA。這兩個(gè)數(shù)據(jù)集中的問(wèn)題需要對(duì)文本進(jìn)行邏輯推理，然而傳統(tǒng)的神經(jīng)模型不足以進(jìn)行邏輯推理，傳統(tǒng)的符號(hào)推理器不能直接應(yīng)用于文本。為了應(yīng)對(duì)這一挑戰(zhàn)，我們提出了一種神經(jīng)-符號(hào)方法，將基本語(yǔ)篇單元用它們之間的邏輯關(guān)系組成圖并進(jìn)行推理。我們提出了一個(gè)自適應(yīng)邏輯圖網(wǎng)絡(luò)（AdaLoGN），可以自適應(yīng)地根據(jù)邏輯關(guān)系來(lái)擴(kuò)展圖，并且在一定程度上實(shí)現(xiàn)了神經(jīng)和符號(hào)推理之間的交互和迭代強(qiáng)化。我們還實(shí)現(xiàn)了一種子圖到節(jié)點(diǎn)的圖消息傳遞機(jī)制，以增強(qiáng)多選題問(wèn)答中的背景和選項(xiàng)交互，并在ReClor和LogiQA上取得了較好的結(jié)果。

動(dòng)機(jī)

? ? 如下圖，背景文本（Context）中包含了一系列描述基本語(yǔ)篇單元（elementary discourse unit, EDU）之間的邏輯關(guān)系的文本，如第一句話中描述了兩個(gè)EDU之間的蘊(yùn)含關(guān)系：”the company gets project A” ->?“product B can be put on the market on schedule”。人類能夠很自然地將這些命題轉(zhuǎn)換為符號(hào)推理，然而對(duì)于計(jì)算機(jī)來(lái)說(shuō)卻是個(gè)有挑戰(zhàn)性的任務(wù)。我們希望能夠融合神經(jīng)推理和符號(hào)推理，提升計(jì)算機(jī)解決邏輯推理問(wèn)題的能力。

方法

? ? 我們構(gòu)建了一個(gè)融合神經(jīng)-符號(hào)推理的框架，這個(gè)框架總體上包括以下幾個(gè)模塊：

首先將文本劃分為單獨(dú)的EDU并使用預(yù)定義好的規(guī)則將關(guān)系映射到對(duì)應(yīng)的邏輯關(guān)系。建立一個(gè)文本邏輯圖（Text Logic Graph），并使用RoBERTa編碼文本并得到EDU的初始表示。

將邏輯推理的過(guò)程加入到圖神經(jīng)網(wǎng)絡(luò)的框架中。我們根據(jù)結(jié)點(diǎn)的表示使用神經(jīng)方法判斷是否需要根據(jù)預(yù)定好的規(guī)則更改TLG的結(jié)構(gòu)（添加額外的邊或者結(jié)點(diǎn)）。實(shí)現(xiàn)了通過(guò)符號(hào)推理（邏輯規(guī)則）增強(qiáng)神經(jīng)推理（圖神經(jīng)網(wǎng)絡(luò)）。在圖神經(jīng)網(wǎng)絡(luò)的中間層擴(kuò)充的結(jié)果并不會(huì)保留到下一層，而是在下一層重新推理并擴(kuò)充，能夠一定程度上避免錯(cuò)誤累積，而在上一層更新過(guò)的結(jié)點(diǎn)表示保留到下一層，通過(guò)這種機(jī)制反過(guò)來(lái)實(shí)現(xiàn)神經(jīng)推理增強(qiáng)符號(hào)推理。

為了增強(qiáng)多選題中的背景和選項(xiàng)交互，我們提出了子圖-結(jié)點(diǎn)消息傳遞機(jī)制。將TLG劃分為背景子圖和選項(xiàng)子圖，在消息傳遞過(guò)程中，每一個(gè)結(jié)點(diǎn)不僅僅會(huì)收到鄰居結(jié)點(diǎn)的消息，還會(huì)收到另外一個(gè)子圖整體的消息，這個(gè)子圖消息是注意力機(jī)制指導(dǎo)下的子圖結(jié)點(diǎn)池化的結(jié)果。

最后綜合原始的背景、問(wèn)題、選項(xiàng)表示和TLG的圖表示預(yù)測(cè)答案。

實(shí)驗(yàn)

? ? 我們?cè)谶壿嬐评頂?shù)據(jù)集ReClor和LogiQA上進(jìn)行了實(shí)驗(yàn)，評(píng)測(cè)指標(biāo)：accuracy。

? ? 對(duì)比多個(gè)Baseline取得了更好的結(jié)果（除了LReasoner(w/ DA)），我們認(rèn)為我們的方法和其它Baselines也能通過(guò)LReasoner中的DA（數(shù)據(jù)增強(qiáng)）方法獲得提升。

? ? 消融實(shí)驗(yàn)也展現(xiàn)了我們的各個(gè)模塊的有效性，其中no-ext表示沒(méi)有擴(kuò)充，full-ext表示加入所有候選擴(kuò)充，no-at表示去掉Adjacency transmission規(guī)則，n2n表示去掉子圖-結(jié)點(diǎn)消息傳遞，n2n+中為背景子圖和消息子圖中的結(jié)點(diǎn)兩兩之間添加一條雙向邊。

錯(cuò)誤分析和未來(lái)的改進(jìn)方向

? ? 在錯(cuò)誤分析中發(fā)現(xiàn)錯(cuò)誤集中在以下幾類：

受限于EDU抽取工具的精度，出現(xiàn)TLG構(gòu)建錯(cuò)誤。

TLG擴(kuò)充過(guò)程中出錯(cuò)導(dǎo)致的錯(cuò)誤。

使用的命題邏輯不能表示的推理過(guò)程（需要更高階的邏輯系統(tǒng)）。

其它錯(cuò)誤（可能是因?yàn)樯窠?jīng)推理）。

? ? 基于錯(cuò)誤分析，計(jì)劃在未來(lái)的工作中使用表示能力更強(qiáng)的邏輯系統(tǒng)并設(shè)計(jì)更好的判斷是否需要根據(jù)邏輯規(guī)則擴(kuò)充的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

論文鏈接：https://arxiv.org/pdf/2203.08992.pdf

代碼鏈接：https://github.com/nju-websoft/AdaLoGN

---

OpenKG

OpenKG（中文開(kāi)放知識(shí)圖譜）旨在推動(dòng)以中文為核心的知識(shí)圖譜數(shù)據(jù)的開(kāi)放、互聯(lián)及眾包，并促進(jìn)知識(shí)圖譜算法、工具及平臺(tái)的開(kāi)源開(kāi)放。

點(diǎn)擊閱讀原文，進(jìn)入 OpenKG 網(wǎng)站。

總結(jié)

以上是生活随笔為你收集整理的论文浅尝 - ACL2022 | 面向推理阅读理解的神经符号方法的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。