?PaperWeekly 原創(chuàng) · 作者 |?王馨月

單位 |?四川大學(xué)

研究方向?|?自然語言處理

新任務(wù)

1.1 NAREOR

論文標(biāo)題：

NAREOR: The Narrative Reordering Problem

論文鏈接：

https://arxiv.org/abs/2104.06669

文本的結(jié)構(gòu)（順序）隱含了許多信息，重新排列敘事會(huì)影響讀者從中得出的時(shí)間、因果、事件等推論，進(jìn)而對(duì)其解釋和趣味性產(chǎn)生影響。本文作者提出了一個(gè)新的任務(wù)——敘事重新排序（Narrative Reordering, NAREOR），即以不同的敘事順序重寫給定的故事，同時(shí)保留其情節(jié)。作者通過人類以非線性順序重寫 ROCStories 中的故事，并對(duì)其進(jìn)行詳細(xì)分析，提供了一個(gè)數(shù)據(jù)集 NAREORC。此外，作者提出了具有合適評(píng)估指標(biāo)的訓(xùn)練方法。

上圖是本文任務(wù)和數(shù)據(jù)集的示例。左側(cè)是原始輸入故事 ，上方是敘事順序 ，右側(cè)是人類重寫的故事 。挑戰(zhàn)在于，簡(jiǎn)單地重新排序句子是遠(yuǎn)遠(yuǎn)不夠的，因?yàn)楸仨氄{(diào)整重寫的文本以處理共指、時(shí)態(tài)和其他語篇依賴才能形成正確且有效的故事，一次遺漏或不正確的編輯可能導(dǎo)致完全不同或無效的故事。

訓(xùn)練過程涉及兩種特殊的訓(xùn)練方法：

• 敘事去噪（NAR-denoise, NAR-d）：NAR-d 試圖模仿人類的重寫方式，學(xué)習(xí)從樸素的排序（簡(jiǎn)單地交換位置）轉(zhuǎn)換為高質(zhì)量的文本。它涉及模型訓(xùn)練的兩個(gè)階段。第一階段是故事級(jí)去噪的無監(jiān)督訓(xùn)練，第二個(gè)階段是在上一階段基礎(chǔ)上的監(jiān)督訓(xùn)練。

• 敘事重排（NAR-reorder, NAR-r）：NAR-r 模型處理給定目標(biāo)順序的重新排序，而不是事先進(jìn)行樸素的重新排序。將輸入 ， 編碼為用于訓(xùn)練的標(biāo)記序列，在逆方向 方向進(jìn)行訓(xùn)練，再進(jìn)一步進(jìn)行微調(diào)，在 方向進(jìn)行訓(xùn)練。

作者選擇 GPT-2、BART 和 T5 模型進(jìn)行實(shí)驗(yàn)，結(jié)果如上圖。

這篇文章提出的任務(wù)對(duì)于一些對(duì)文本順序敏感的任務(wù)都有一些幫助，比如論文寫作的論證以及臨床敘述生成患者病史等。

評(píng)估標(biāo)準(zhǔn)

2.1 Play the Shannon Game With Language Models

論文標(biāo)題：

Play the Shannon Game With Language Models: A Human-Free Approach to Summary Evaluation

論文鏈接：

https://arxiv.org/abs/2103.10918

項(xiàng)目地址：

https://github.com/primerai/blanc/tree/master/shannon

這篇文章作者引入了一種新的無參考摘要評(píng)估指標(biāo)——香農(nóng)分?jǐn)?shù)（Shannon Score），思路來自 Hovy 和 Lin（1998）提出的香農(nóng)游戲（Shannon Game）：分配給 3 個(gè)人一個(gè)字母一個(gè)字母地猜測(cè)文檔的任務(wù)，其中第一個(gè)人可以看文檔，第二個(gè)人可以看文檔摘要，第三個(gè)人什么也看不到。通過測(cè)量第二個(gè)人與其他人相比猜測(cè)文檔的嘗試次數(shù)，可以評(píng)估摘要中傳達(dá)了多少有關(guān)文檔的信息，從而衡量摘要的質(zhì)量。作者還提出了一個(gè)稱之為信息差異的變體（Information Difference）。

假設(shè)我們有一個(gè)條件語言模型 ，表示對(duì)應(yīng)于給定摘要 的文檔概率分布。使用這個(gè)條件語言模型，如果我們已經(jīng)獲得了摘要 的信息，我們可以計(jì)算條件信息內(nèi)容 作為從文檔 中獲得的信息量。

如果 是 的令人滿意的摘要，則 ＜，進(jìn)一步將信息差異定義如下式，表示使用摘要和不使用摘要之間文檔信息的變化，它相當(dāng)于文檔和給定摘要的文檔之間的對(duì)數(shù)似然比：

考慮到最能保存文檔信息的摘要是文檔本身，可以將 視為 的下界。進(jìn)一步可以計(jì)算香農(nóng)分?jǐn)?shù)指標(biāo)為：

香農(nóng)分?jǐn)?shù)為我們提供了摘要的有用程度與文檔本身的有用程度之間的比率。

上圖是本文方法的一個(gè)圖例，作者挑選了一個(gè)文檔摘錄，并將其與編寫的兩個(gè)抽象摘要配對(duì)。雖然這兩個(gè)摘要在語法上都是正確的，并且主要由文檔中的單詞組成，但其中一個(gè)摘要質(zhì)量高，另一個(gè)質(zhì)量低。圖中較暗的背景顏色表示較高的信息量。

可以看出，低質(zhì)量的摘要可能有助于模型預(yù)測(cè)諸如“CNN”之類的詞，但對(duì)于摘要中混淆使用的諸如“哺乳動(dòng)物”和“網(wǎng)站”之類的詞則無濟(jì)于事。除了每個(gè)句子的第一個(gè)或兩個(gè)標(biāo)記外，閱讀已經(jīng)閱讀過的文檔獲得的信息很少。這是作者自回歸語言建模設(shè)置的產(chǎn)物，因此測(cè)量 對(duì)規(guī)范香農(nóng)分?jǐn)?shù)很有用。

作者在文中還進(jìn)一步驗(yàn)證了本文提出的指標(biāo)的有效性，指標(biāo)還可能對(duì)于例如釋義或以查詢?yōu)橹行牡恼蝿?wù)有一定作用。

2.2 InfoLM

論文標(biāo)題：

InfoLM: A New Metric to Evaluate Summarization & Data2Text Generation

論文鏈接：

https://arxiv.org/abs/2112.01589

這篇文章作者引入了 InfoLM —— 一種新的評(píng)估文本摘要和 data2text 生成的指標(biāo)。InfoLM 與現(xiàn)有的基于 BERT 的指標(biāo)（如 BERTSCORE、MOVERSCORE）不同，它直接依賴于輸出離散概率分布的預(yù)訓(xùn)練掩碼語言模型（pre-trained masked language model, PMLM）。由于 InfoLM 依賴于 token 的統(tǒng)計(jì)數(shù)據(jù)，因此也可以將其視為基于字符串的度量標(biāo)準(zhǔn)。并且，因?yàn)?PMLM 還允許為釋義分配高權(quán)重并捕獲長(zhǎng)程依賴關(guān)系，InfoLM 不會(huì)產(chǎn)生基于字符串的度量的常見缺陷。

InfoLM 包含以下幾個(gè)組件：（1）一個(gè) PMLM，用于計(jì)算詞匯表在給定候選句子和參考句子的情況下觀察詞匯的每個(gè) token 的概率的離散分布。（2）對(duì)比函數(shù) ，用于測(cè)量上述概率分布之間的差異（即文本相似程度）。

上式為 InfoLM的 計(jì)算公式，其中 和 是兩個(gè)離散分布，分別表示在給定候選句子 和參考句子 的情況下觀察詞匯的每個(gè) token 的概率， 和 分別衡量候選文本和參考文本中第 k 個(gè) token 的重要性。計(jì)算公式如下：

InfoLM 的完整算法如下圖：

作者對(duì)文本摘要任務(wù)和 data2text 任務(wù)進(jìn)行實(shí)驗(yàn)，在原文和附錄中有非常詳細(xì)的數(shù)據(jù)記錄，得出結(jié)果證明了本文方法的有效性。作者還得出結(jié)論：在可用的對(duì)比度量中，Fisher-Rao 距離是無參數(shù)的，因此在實(shí)踐中很容易使用，而 AB-Divergence 有更好的結(jié)果，但需要選擇 α 和 β。

2.3 The King is Naked

論文標(biāo)題：

The King is Naked: on the Notion of Robustness for Natural Language Processing

論文鏈接：

https://arxiv.org/abs/2112.07605

項(xiàng)目地址：

https://github.com/EmanueleLM/the-king-is-naked

這篇文章的作者認(rèn)為，最初為圖像引入的魯棒性標(biāo)準(zhǔn)并不適用于 NLP。因此，作者提出了（局部）語義魯棒性——根據(jù)預(yù)測(cè)在模型中引起的偏差來表征，通過測(cè)量語言規(guī)則的魯棒性而不是單詞替換或刪除。作者使用基于模板的生成測(cè)試研究了一系列原版和經(jīng)過穩(wěn)健訓(xùn)練的架構(gòu)的語義魯棒性。作者得出結(jié)論：語義魯棒性可以提高模型對(duì)于復(fù)雜語言現(xiàn)象的性能，盡管相對(duì)于對(duì)抗性魯棒性更難計(jì)算。

對(duì)比局部連續(xù)魯棒性與局部離散魯棒性：

• 連續(xù)魯棒性：廣泛用于圖像，是基于嵌入向量進(jìn)行操作的。但由于自然語言是離散的，在連續(xù)魯棒性的定義中， 有界魯棒性意味著這個(gè) 有界區(qū)域中的任何向量都是安全的。這種假設(shè)與語言本身特性是不一致的，因?yàn)榫W(wǎng)絡(luò)可能會(huì)呈現(xiàn)一個(gè)決策邊界，其中不是正確單詞的對(duì)抗性攻擊會(huì)限制驗(yàn)證或嚴(yán)重減少安全區(qū)域。如下圖所示：

• 離散魯棒性：是基于符號(hào)進(jìn)行操作的，且局部連續(xù)魯棒性以為只局部離散魯棒性，反之則不成立。

這兩種魯棒性公式都只允許對(duì)符號(hào)替換或刪除進(jìn)行魯棒性測(cè)試。而將一個(gè)詞局部替換為其他詞很難對(duì)釋義測(cè)試魯棒性。從語言學(xué)的角度來看，這個(gè)問題的出現(xiàn)是因?yàn)樽匀徽Z言中單詞的頻率遵循 Zipf 定律 ，其中罕見的術(shù)語和結(jié)構(gòu)——因此是邊緣情況——比其他自然現(xiàn)象更頻繁地出現(xiàn)。且我們不能保證離散和連續(xù)設(shè)置中的擾動(dòng)不會(huì)違反所考慮的任務(wù)。由于實(shí)現(xiàn)離散和連續(xù)魯棒性的方法允許在選擇替代品時(shí)進(jìn)行弱監(jiān)督，因此擾動(dòng)可能會(huì)偏離正在考慮的任務(wù)。

作者因此提出語義魯棒性：對(duì)于語義分析任務(wù) ，輸入 ， 為接受的方案， 為拒絕的方案。則在語言規(guī) 則 下，對(duì)于給定模型 ，和評(píng)估標(biāo)準(zhǔn) ，當(dāng) 成立且 時(shí)，我們說 對(duì)于 和 是 語義魯棒的（-semantically robust）。

作者進(jìn)一步定義了語義魯棒性的有界不變條件并證明局部語義魯棒性可以推廣到全局語義魯棒性。

作者進(jìn)行了針對(duì)以下問題進(jìn)行了實(shí)驗(yàn)：（i）經(jīng)典意義上的魯棒模型是否在語義上也是魯棒的；（ii）對(duì)特定語言現(xiàn)象的魯棒性是否是訓(xùn)練準(zhǔn)確的 NLP 分類器的副產(chǎn)品；（iii）對(duì)于不同的架構(gòu)，增強(qiáng)監(jiān)督訓(xùn)練（使用包含特定語言現(xiàn)象的文本）是否會(huì)在包含相同現(xiàn)象的未見測(cè)試樣本上誘導(dǎo)泛化；（iv）是否有可能訓(xùn)練出既準(zhǔn)確又具有語義魯棒性的模型，以及（v）無監(jiān)督學(xué)習(xí)在多大程度上有助于語義魯棒性。

作者在斯坦福情感樹庫(kù)數(shù)據(jù)集（SST-2）和 Barnes 收集的數(shù)據(jù)集上使用充分訓(xùn)練并微調(diào)過的模型進(jìn)行實(shí)驗(yàn)。結(jié)果如下圖：

本文提出的語義魯棒性雖然很難實(shí)現(xiàn)，但對(duì)傳統(tǒng)魯棒性難以解決的復(fù)雜問題具有更好的效果，這對(duì)于解決其他 NLP 任務(wù)可能有幫助。

對(duì)話系統(tǒng)

3.1 GALAXY

論文標(biāo)題：

GALAXY: A Generative Pre-trained Model for Task-Oriented Dialog with Semi-Supervised Learning and Explicit Policy Injection

論文鏈接：

https://arxiv.org/abs/2111.14592

這篇文章作者提出了一種名為 GALAXY 的用于面向任務(wù)對(duì)話系統(tǒng)的生成式半監(jiān)督預(yù)訓(xùn)練模型，旨在以低成本將對(duì)話策略的知識(shí)明確地注入到預(yù)訓(xùn)練中，同時(shí)保持其強(qiáng)大的對(duì)話理解和生成能力。作者為面向任務(wù)的對(duì)話（Task-oriented dialog, TOD）構(gòu)建了一個(gè)統(tǒng)一的對(duì)話行為（Dialog act, DA）分類法，并開發(fā)了一個(gè)名為 UniDA 的新標(biāo)記數(shù)據(jù)集。作者還收集和處理了一個(gè)名為 UnDial 的大規(guī)模未標(biāo)記對(duì)話語料庫(kù)，其中包含 3500 萬個(gè)語料，場(chǎng)景包含從在線論壇到客戶服務(wù)。

上圖為本文的預(yù)訓(xùn)練對(duì)話模型架構(gòu)，左側(cè)是輸入表示，右側(cè)是預(yù)訓(xùn)練組件。預(yù)訓(xùn)練組件包含四個(gè)部分：響應(yīng)選擇（Response Selection）；響應(yīng)生成（Response Generation）；對(duì)話行為預(yù)測(cè)（DA Prediction）；一致性正則化（Consistency Regularization）。

作者還提出了一種半監(jiān)督預(yù)訓(xùn)練范式，對(duì)所有數(shù)據(jù)應(yīng)用一致性正則化，能夠最小化對(duì)丟失擾動(dòng)樣本進(jìn)行的模型預(yù)測(cè)之間的雙向 KL 散度，這有助于更好地從未標(biāo)記的對(duì)話語料庫(kù)中學(xué)習(xí)表示。作者還在未標(biāo)記數(shù)據(jù)的 KL（Kullback-Leibler）損失上添加了一個(gè)可學(xué)習(xí)的控制門，這樣只有好的樣本才被允許進(jìn)行一致的正則化。

如上圖所示，實(shí)驗(yàn)表明，GALAXY 顯著改進(jìn)了 TOD 系統(tǒng)，并在 In-Car、MultiWOZ2.0 和 MultiWOZ2.1 上取得了SOTA，將端到端綜合得分推高至 107.45、110.35 和分別為 110.76。作者還觀察到，GALAXY 在各種低資源設(shè)置下都具有很強(qiáng)的 few-shot 能力。

上圖是一個(gè)響應(yīng)生成的示例，GALAXY 在前兩個(gè)回合中選擇了正確的對(duì)話行為，以便整個(gè)對(duì)話可以引導(dǎo)成功完成任務(wù)。相反，UBAR 在開始回合接受了錯(cuò)誤的 DA notify-failure，在第二回合接受了冗余的 DA 請(qǐng)求，從而導(dǎo)致交互失敗。

作者在附錄中還給出了一種 DA 的分類方法，如下圖所示，可能對(duì)進(jìn)一步的工作有幫助。

3.2 Hybrid Curriculum Learning

論文標(biāo)題：

Hybrid Curriculum Learning for Emotion Recognition in Conversation

論文鏈接：

https://arxiv.org/abs/2112.11718

對(duì)話情緒識(shí)別（Emotion recognition in conversation, ERC）旨在檢測(cè)每個(gè)話語的情緒標(biāo)簽。近期研究證明，以有意義的順序提供訓(xùn)練示例而不是隨機(jī)排序可以提高模型的性能。這篇文章的作者提出了一個(gè)面向 ERC 的混合課程學(xué)習(xí)框架?？蚣苡蓛蓚€(gè)課程組成：（1）會(huì)話級(jí)課程（conversation-level curriculum, CC）；（2）話語級(jí)課程（utterance-level curriculum, UC）。

在 CC 中，作者基于對(duì)話中的“情緒轉(zhuǎn)換”頻率構(gòu)建了一個(gè)難度測(cè)量器，然后根據(jù)難度測(cè)量器返回的難度分?jǐn)?shù)將對(duì)話安排在“從易到難”的模式中。UC 是從情感相似性的角度實(shí)施的，它逐漸增強(qiáng)了模型識(shí)別混亂情緒的能力。通過提出的與模型無關(guān)的混合課程學(xué)習(xí)策略，作者實(shí)驗(yàn)發(fā)現(xiàn)各種現(xiàn)有 ERC 模型的性能顯著提升，并且能夠在四個(gè)公共 ERC 數(shù)據(jù)集上實(shí)現(xiàn) SOTA。

在課程學(xué)習(xí)（curriculum learning, CL）中，典型的課程設(shè)計(jì)包含兩個(gè)核心組件：難度測(cè)量器（difficulty measurer）和訓(xùn)練調(diào)度器（training scheduler）。難度測(cè)量器用于量化每個(gè)數(shù)據(jù)示例的相對(duì)“容易程度”。訓(xùn)練調(diào)度器根據(jù)難度測(cè)量器的判斷，在整個(gè)訓(xùn)練過程中安排數(shù)據(jù)子集的順序。

上圖是本文提出的混合課程學(xué)習(xí)（hybrid curriculum learning, HCL）框架示意圖。對(duì)于 CC，作者設(shè)計(jì)了一個(gè)基于情緒轉(zhuǎn)換的難度測(cè)量器。一種廣泛使用的 CL 策略稱為 baby step，被用作訓(xùn)練調(diào)度程序。對(duì)于 UC，在訓(xùn)練過程中，同一會(huì)話中的話語必須同時(shí)輸入到一個(gè)批次中。因此，采用傳統(tǒng)的訓(xùn)練調(diào)度器（如 baby step）來安排話語的訓(xùn)練順序是不可行的。作者提出了基于情感相似性的課程學(xué)習(xí)來解決這個(gè)問題。下圖是作者基于之前工作提出的情緒喚醒-效價(jià)（arousal-valence）坐標(biāo)，其中包含標(biāo)準(zhǔn) ERC 數(shù)據(jù)集中的所有情緒。每個(gè)情緒標(biāo)簽都可以映射到單位圓上的一個(gè)點(diǎn)，可以借此計(jì)算情感標(biāo)簽之間的相似度。

下圖是 HCL 的訓(xùn)練過程。

下圖是一些 baseline 模型使用 HCL 的對(duì)比結(jié)果，可以看出 HCL 能使現(xiàn)有模型性能顯著提高。?

下圖是使用 HCL 的示例。目標(biāo)是預(yù)測(cè)藍(lán)色框中最后一句話的情感標(biāo)簽。由于情緒轉(zhuǎn)換的發(fā)生，實(shí)驗(yàn)中的所有 baseline 方法都容易錯(cuò)誤地將情緒識(shí)別為沮喪。而大多數(shù)“X+HCL”方法都能夠正確識(shí)別該話語的情緒，這表明 HCL 在一定程度上緩解了這個(gè)問題。右邊描述了一個(gè)帶有混淆標(biāo)簽的案例。紅框中最后一句話的情感標(biāo)簽是激動(dòng)。DialogueGCN 和 DAG-ERC 等一些 baseline 模型將情緒誤認(rèn)為是快樂的。在使用 HCL 框架后，DialogueGCN+HCL 和 DAG-ERC+HCL 成功地將情緒識(shí)別為正確的標(biāo)簽興奮。

3.3?CoG-BART

論文標(biāo)題：

Contrast and Generation Make BART a Good Dialogue Emotion Recognizer

論文鏈接：

https://arxiv.org/abs/2112.11202

項(xiàng)目地址：

https://github.com/whatissimondoing/CoG-BART

這篇文章是邱錫鵬老師等人關(guān)于對(duì)話情緒識(shí)別（Emotion recognition in conversation, ERC）的一篇文章。作者引入了對(duì)話級(jí) Transformer 層來模擬話語之間的長(zhǎng)期上下文依賴關(guān)系。采用監(jiān)督對(duì)比學(xué)習(xí)（supervised contrastive learning, SCL）來緩解對(duì)相似情緒進(jìn)行分類的困難。還引入了一個(gè)輔助響應(yīng)生成任務(wù)，以增強(qiáng) ERC 捕獲上下文信息的能力。

最后，作者利用 BART，作為主干模型，并通過對(duì)比和生成損失來增強(qiáng)它。與 baseline 模型相比，本文提出的對(duì)比生成增強(qiáng) BART（COnstrastive-and-Generation-enhanced BART, CoG-BART） 在四個(gè) ERC 數(shù)據(jù)集上獲得了 SOTA。此外，消融實(shí)驗(yàn)和案例研究證明了 ERC 任務(wù)中對(duì)比和生成損失的有效性。

上圖是本文提出的 CoG-BART 框架的示意圖。

在 ERC 的監(jiān)督對(duì)比學(xué)習(xí)過程中，首先將說話者拼接在話語前，再灌入 BART 的共享 Embedding 層，實(shí)現(xiàn)話語 encoding。再將輸出結(jié)果進(jìn)行 Max-pooling，得到話語的聚合表示。為了對(duì)對(duì)話的歷史上下文信息進(jìn)行建模，我們利用對(duì)話級(jí) Transformer 層作為上下文編碼器。Multi-head 注意力機(jī)制可以捕捉多輪對(duì)話中不同對(duì)話之間的交互，并聚合不同的特征以獲得最終的隱式表示，從而充分建模不同話語和上下文之間的復(fù)雜依賴關(guān)系關(guān)系，就此得到了話語的上下文依賴表示。

監(jiān)督對(duì)比學(xué)習(xí)通過充分利用標(biāo)簽信息，將批次中具有相同標(biāo)簽的所有示例都視為正例，對(duì)預(yù)訓(xùn)練模型進(jìn)行微調(diào)時(shí)使得小樣本學(xué)習(xí)更加穩(wěn)定。對(duì)于 ERC，某些數(shù)據(jù)集中每個(gè)類別的樣本數(shù)量是高度不平衡的，而有監(jiān)督的對(duì)比學(xué)習(xí)在計(jì)算損失時(shí)會(huì)掩蓋自己。如果批次中某個(gè)類別只有一個(gè)樣本，則不能直接用于計(jì)算損失。因此，對(duì)話語的隱藏狀態(tài)進(jìn)行復(fù)制，并對(duì)其梯度進(jìn)行分離，使得參數(shù)優(yōu)化保持穩(wěn)定。

為了便于模型在確定話語情感時(shí)考慮更豐富的上下文信息，模型需要在給定當(dāng)前話語的情況下生成其后續(xù)話語。后續(xù)話語中每個(gè) token 的輸出隱藏狀態(tài)由 BART 解碼器順序生成。

模型訓(xùn)練的損失由三部分組成：上下文建模后得到的隱藏狀態(tài)通過多層感知器獲得計(jì)算交叉熵?fù)p失的 logits、監(jiān)督對(duì)比損失和響應(yīng)生成損失。損失是三個(gè)分量的加權(quán)和，它們的權(quán)重之和等于 1。

實(shí)驗(yàn)結(jié)果如上圖所示，可以看出 CoG-BART 取得了很好的結(jié)果。作者還對(duì) SCL 進(jìn)行了定性和定量分析以及消融實(shí)驗(yàn)，表明有監(jiān)督的對(duì)比學(xué)習(xí)可以有效地提高模型識(shí)別情緒的效率，從而提高整體性能。此外，作為輔助任務(wù)的響應(yīng)生成有助于模型充分考慮上下文，以識(shí)別不同上下文中語義相似話語的情緒。

3.4?KEMP

論文標(biāo)題：

Knowledge Bridging for Empathetic Dialogue Generation

論文鏈接：

https://arxiv.org/abs/2009.09708

項(xiàng)目地址：

http://github.com/qtli/KEMP

缺乏外部知識(shí)使得移情（empathetic）對(duì)話系統(tǒng)難以感知內(nèi)隱情緒并從有限的對(duì)話歷史中學(xué)習(xí)情感交互。為了解決上述問題，作者提出了一種知識(shí)感知的移情對(duì)話生成方法（Knowledge-aware EMPathetic dialogue generation method, KEMP）。它由三個(gè)組件組成:情緒上下文圖、情緒上下文編碼器和情緒依賴解碼器。情感上下文圖是通過將對(duì)話歷史與外部知識(shí)相結(jié)合來構(gòu)建的。

情感上下文編碼器使用圖形感知轉(zhuǎn)換器來學(xué)習(xí)圖形嵌入，并提出一個(gè)情感信號(hào)感知程序來感知導(dǎo)致響應(yīng)生成的上下文情感。以知識(shí)豐富的上下文圖為條件，作者提出了一種情緒交叉注意機(jī)制來從情緒上下文圖中學(xué)習(xí)情緒依賴關(guān)系。作者在基準(zhǔn)數(shù)據(jù)集上進(jìn)行的大量實(shí)驗(yàn)驗(yàn)證了所提出方法的有效性。此外，作者發(fā)現(xiàn)本文的方法的性能可以通過與正交工作的預(yù)訓(xùn)練模型集成來進(jìn)一步提高。

上圖顯示了移情對(duì)話的真實(shí)示例。如果我們使用說話者輸入的非停用詞作為查詢，通過外部知識(shí)獲取知識(shí)，我們可以獲得各種與情緒相關(guān)的概念及其情緒強(qiáng)度值，這有助于理解情緒。作者定量研究了外部知識(shí)在理解情感方面對(duì)移情對(duì)話語料庫(kù)的影響，發(fā)現(xiàn)響應(yīng)與對(duì)話歷史幾乎沒有非停用詞重疊。這種現(xiàn)象意味著人類需要推斷出更多的外部知識(shí)來進(jìn)行移情對(duì)話。

相比之下，如果我們將外部知識(shí)（即與情感相關(guān)的概念）納入系統(tǒng)，我們觀察到，對(duì)于大多數(shù)對(duì)話樣本，聊天機(jī)器人可以直接從由對(duì)話歷史中的非停用詞的知識(shí)路徑中獲得線索。因此，外部知識(shí)對(duì)于獲取有用的情感知識(shí)和提高移情對(duì)話生成的性能至關(guān)重要。

在調(diào)查過程中，作者觀察到另一種現(xiàn)象，即情感依賴和情感慣性在移情對(duì)話中通常與外部知識(shí)一起出現(xiàn)。作者使用基于 CNN 的情緒分類器標(biāo)記話語，并可視化從說話者到聽眾的情緒轉(zhuǎn)換。如上圖所示，較暗的對(duì)角線網(wǎng)格表明聽眾傾向于反映他們的對(duì)話者以建立融洽的關(guān)系。此外，除了對(duì)角線方向（紅框內(nèi)）外，還有一些復(fù)雜的情感過渡模式。因此，對(duì)對(duì)話者之間的情感依賴進(jìn)行建模至關(guān)重要。

上圖是本文提出的 KEMP 框架的示意圖。KEMP 包含三部分:

情緒上下文圖：將對(duì)話歷史轉(zhuǎn)化為長(zhǎng)的詞序列并插入 [CLS]，對(duì)每一個(gè)停用詞 從 ConceptNet 中選擇備選集合 。接著采用三個(gè)步驟來提煉與情感相關(guān)的知識(shí)：（1）通過過濾具有相關(guān)關(guān)系的元組來提取 的子集 ，以獲得移情響應(yīng)和足夠的置信度分?jǐn)?shù)。(2) 根據(jù)檢索到的概念的情緒強(qiáng)度值對(duì)元組進(jìn)行排序。對(duì)于 ，選擇前 元組作為情感知識(shí)子圖。（3）應(yīng)用 3 種類型的有向邊來連接頂點(diǎn)：（i）兩個(gè)連續(xù)單詞之間的臨時(shí)邊；（ii）詞 與其情感概念 之間的情感邊；（iii）[CLS] 和其他頂點(diǎn)之間的全局邊。最長(zhǎng)得到情感上下文圖 。

情緒上下文編碼器：首先使用詞嵌入層和位置嵌入層將每個(gè)頂點(diǎn) 轉(zhuǎn)換為向量 和 。再將頂點(diǎn)狀態(tài)（對(duì)話歷史或外部知識(shí)）嵌入 。頂點(diǎn) 的向量表示是三種嵌入的組合。接著應(yīng)用 Multi-head 關(guān)注鄰居節(jié)點(diǎn)獲得上下文表示。接著使用全局上下文信息更新頂點(diǎn)以模擬全局交互。模型從情緒上下文圖中學(xué)習(xí)情緒信號(hào) 來指導(dǎo)移情反應(yīng)的產(chǎn)生，使用 softmax 操作的線性層將向量投影到情緒標(biāo)簽上的情緒類別分布中，以識(shí)別移情反應(yīng)的情緒信號(hào) 。與情感上下文編碼 一起，情感向量 和 將作為關(guān)鍵情感信號(hào)輸入解碼器，以引導(dǎo)移情響應(yīng)的生成。

情緒依賴解碼器：decoder 是基于 transformer 層構(gòu)建的。作者設(shè)計(jì)了兩種策略以改善上下文和情緒響應(yīng)間的情緒依賴關(guān)系：（1）結(jié)合情緒特征（2）增強(qiáng)情緒注意力損失。

上圖是作者在 EMPATHETICDIALOGUES 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)的結(jié)果。結(jié)果顯示，如果沒有情感建模，Transformer 只能基于語義映射生成流暢的響應(yīng)，但無法表達(dá)多樣化的響應(yīng)。

上圖是 KEMP 和基線模型在說話者兩種不同的情緒狀態(tài)下生成的響應(yīng)。下劃線表示與知識(shí)相關(guān)的詞?？梢钥闯?KEMP 對(duì)于外部知識(shí)的利用對(duì)于響應(yīng)生成有很大提升。?

特別鳴謝

感謝 TCCI 天橋腦科學(xué)研究院對(duì)于 PaperWeekly 的支持。TCCI 關(guān)注大腦探知、大腦功能和大腦健康。

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識(shí)的人。

總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)術(shù)熱點(diǎn)剖析、科研心得或競(jìng)賽經(jīng)驗(yàn)講解等。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來。

📝?稿件基本要求：

? 文章確系個(gè)人原創(chuàng)作品，未曾在公開渠道發(fā)表，如為其他平臺(tái)已發(fā)表或待發(fā)表的文章，請(qǐng)明確標(biāo)注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發(fā)送，要求圖片清晰，無版權(quán)問題

? PaperWeekly 尊重原作者署名權(quán)，并將為每篇被采納的原創(chuàng)首發(fā)稿件，提供業(yè)內(nèi)具有競(jìng)爭(zhēng)力稿酬，具體依據(jù)文章閱讀量和文章質(zhì)量階梯制結(jié)算

📬?投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請(qǐng)備注即時(shí)聯(lián)系方式（微信），以便我們?cè)诟寮x用的第一時(shí)間聯(lián)系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長(zhǎng)按添加PaperWeekly小編

🔍

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁(yè)搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

·

總結(jié)

以上是生活随笔為你收集整理的AAAI 2022有哪些值得读的NLP相关论文？的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。