每天給你送來NLP技術干貨！

---

來自：TsinghuaNLP

近日，ACL 2022錄用結果出爐，我組18篇論文被ACL 2022錄用，其中主會論文13篇，Findings論文5篇。以下為論文列表及介紹：

?一?

ACL?2022主會

Packed Levitated Marker for Entity and Relation Extraction

作者：葉德銘，林衍凱，李鵬，孫茂松

類型：Long Paper

摘要：最近的命名實體識別和關系抽取工作專注于研究如何從預訓練模型中獲得更好的span表示。然而，許多工作忽略了span之間的相互關系。在這篇文章中，我們提出了一種基于懸浮標記的span表示方法，我們在編碼過程中通過特定策略打包標記來考慮span之間的相互關系。對于命名實體識別任務，我們提出了一種面向鄰居span的打包策略，以更好地建模實體邊界信息。對于關系抽取任務，我們設計了一種面向頭實體的打包策略，將每個頭實體以及可能的尾實體打包，以共同建模同頭實體的span對。通過使用增強的標記特征，我們的模型在六個NER數據集上優于基線模型，并在ACE04/ACE05端到端關系抽取數據集上以更快的速度獲得了4 F1以上的提升。論文代碼開源于https://github.com/thunlp/PL-Marker。該工作與騰訊微信模式識別中心合作完成。

QuoteR: A Benchmark of Quote Recommendation for Writing

作者：豈凡超，楊延輝，易靖，程志立，劉知遠，孫茂松

類型：Long Paper

摘要：在寫作中人們經常引用名言名句來提高文章文采和說服力。為了幫助人們更快地找到合適的名言名句，研究者提出了名言名句推薦任務。該任務旨在自動推薦適合當前上下文的名言名句。現在已經有許多名言名句推薦方法，但是他們的評測基于不同的未公開數據集。為了推進這一領域的研究，我們構建了一個名為QuoteR的大規模名言名句推薦數據集。該數據集完全公開，由英語、現代漢語、古詩文三部分構成，每一部分都比此前的相應未公開數據集要大。基于該數據集，我們對此前的所有名言名句推薦方法進行了公平而詳盡的評測。此外，我們還提出了一個名言名句推薦模型，其性能顯著超過前人方法。

以下為根據上下文“從盤面上看，股票價格會呈現某種帶漂移的無規則行走，漲跌無常，難以捉摸。[Quote],這話放在投資領域也同樣受用。事物是在不斷變化的，歷史數據只能起一定程度的參考作用。投資者想憑借歷史數據準確預測未來幾乎是不可能的。”推薦的名言示例：

MSP: Multi-Stage Prompting for Making Pre-trained Language Models Better Translators

‍‍‍‍‍‍‍

作者：譚知行，張祥文，王碩，劉洋

類型：Long Paper

摘要：提示方法在近期已成為應用預訓練模型到下游任務的前沿方法。我們提出多階段提示，一種簡單且自動的應用預訓練模型到翻譯任務上的方法。為了更好地減少預訓練與翻譯之間的差異，多階段提示將使用預訓練模型進行翻譯的過程分解為三個獨立的階段：編碼階段、再編碼階段、解碼階段。在每個階段，我們獨立地采用連續型提示來使得預訓練模型能夠更好地轉移到翻譯任務上。實驗表明我們的方法能夠顯著提升預訓練模型進行機器翻譯的性能。

Integrating Vectorized Lexical Constraints for Neural Machine Translation?

作者：王碩，譚知行，劉洋

類型：Long Paper

摘要：詞匯化約束的神經機器翻譯(NMT)使用預先指定的短語對來控制的NMT模型的生成結果。該任務在許多實際場景中有著重要的意義。但是，由于NMT模型內部是連續的向量，和離散的詞匯約束存在著表示形式上的差異。現有的大多數工作都講NMT模型視作一個黑盒子，僅在數據層面或者解碼算法上施加詞匯約束，不考慮其模型內部的信息處理方式。在本工作中，我們將離散的詞匯約束進行向量化，將其映射為注意力機制可以直接利用的連續型鍵(key)和值(value)，從而可以直接將約束集成到NMT模型中。實驗結果表明，我們的方法在四個語言對上始終優于幾個具有代表性的基線方法。

Pass off Fish Eyes for Pearls: Attacking Model Selection of Pre-trained Models

作者：朱璧如，秦禹嘉，豈凡超，鄧仰東，劉知遠， 孫茂松，顧明

類型：Long Paper

摘要：為特定的下游任務選擇合適的預訓練模型 (PTM) 通常需要在該下游任務上微調來確定，然而這一過程是十分緩慢的。為了加速這一過程，研究人員提出了基于特征的模型選擇 (FMS) 方法，該方法無需微調即可快速評估 PTM 對特定任務的可遷移性。在這項工作中，我們認為當前的 FMS 方法具有安全方面的隱患。為了驗證我們的觀點，我們分別從模型層面和數據層面設計了兩種算法評估FMS的魯棒性。實驗結果證明，這兩種方法都能成功地使 FMS 錯誤地判斷PTM的可遷移性。我們的研究指出了提高FMS魯棒性的新方向。該工作與清華大學軟件學院鄧仰東老師團隊合作完成。

PPT: Pre-trained Prompt Tuning for Few-shot Learning

作者：顧煜賢，韓旭，劉知遠，黃民烈

類型：Long Paper

摘要：隨著預訓練語言模型的參數量越來越大，如何高效地將大模型向下游任務適配逐漸受到研究者們的關注。最近，一種被稱為 prompt tuning 的方法提供了一種可能的解決方式。這種方法通過在固定整體模型參數的情況下，端到端地調整拼接在輸入前的一組 soft prompt， 從而在下游數據充足的情況下達到和訓練整體模型參數相當的結果。但是，我們發現 soft prompt 的優化較為困難，導致 prompt tuning 在數據量較少的情況下性能較差。因此，我們提出了一個新的訓練框架 PPT (Pre-trained Prompt Tuning)。在這個框架中，為了解決 soft prompt 優化困難的問題，我們將 soft prompt 先在無標注數據上進行預訓練，從而得到一個較好的初始化，然后再通過上述的 prompt tuning 向下游任務適配。為了提升我們框架的通用性，我們將多個經典的文本分類任務歸為了三種形式，并為每種形式分別設計了一種預訓練任務。我們通過大量的實驗證明，PPT 框架可以顯著提升 prompt tuning 在少數據場景下的性能，達到甚至超過模型整體參數微調的水平。并且，在數據量增多時，PPT 的優勢仍然可以保持。該工作與清華大學黃民烈老師團隊合作完成。

Prototypical Verbalizer for Prompt-based Few-shot Tuning

作者：崔淦渠，胡聲鼎，丁寧，黃龍濤，劉知遠

類型：Long Paper

摘要：針對預訓練語言模型(PLM)的提示微調(prompt-based tuning)在少次學習中十分有效。通常，提示微調會將輸入文本包裝成填空問題。為了做出預測，這種方法通過一個表達器(verbalizer)將輸出的單詞映射到標簽上。該表達器可以是人工設計的，也可以是自動構建的。然而，人工表達器嚴重依賴于特定領域的先驗知識，而自動尋找合適的標簽詞仍然是一項挑戰，本文提出了直接從訓練數據中構建的原型表達器ProtoVerb。具體而言，ProtoVerb通過對比學習將學到的原型(prototype)向量作為表達器。通過這種方式，原型歸納了訓練實例，并且能夠包含豐富的類級別語義。我們在主題分類和實體分類任務上進行了實驗，實驗結果表明，ProtoVerb的性能明顯優于現有的自動生成的表達器，特別是在訓練數據極其匱乏的場景下。更令人驚訝的是，即使是在未微調的預訓練語言模型上，ProtoVerb也能夠提升提示微調的性能，這表明ProtoVerb也是一種優雅的非微調預訓練模型利用方式。該工作與阿里AAIG自然語言處理實驗室黃龍濤老師團隊合作完成。

bert2BERT: Towards Reusable Pretrained Language Models

作者：陳誠，尹伊淳，尚利峰，蔣欣，秦禹嘉，王鳳玉，王智，陳曉，劉知遠，劉群

類型：Long Paper

摘要：近年來，研究人員傾向于不斷訓練更大的語言模型，以探索深度模型的上限。然而，大型語言模型預訓練需要消耗大量的計算資源，并且大多數模型都是從頭開始訓練的，沒有重復利用現有的預訓練模型，這是一種浪費。在本文中，我們提出了bert2BERT，它可以通過參數初始化有效地將現有較小的預訓練模型的知識轉移到大型模型，提高大模型的預訓練效率。具體來說，我們在基于 Transformer 的語言模型上擴展了之前的Net2Net方法。此外，我們提出了一種兩階段的預訓練方法，以進一步加快訓練過程。我們對具有代表性的 PLM（例如，BERT 和 GPT）進行了廣泛的實驗，并證明 (1) 我們的方法與從頭開始學習、StackBERT和 MSLT在內的基線方法相比可以節省大量的訓練成本; (2) 我們的方法是通用的，適用于不同類型的預訓練模型。該工作由華為諾亞實驗室劉群老師團隊主導完成。

?Cross-Lingual Contrastive Learning for Fine-Grained Entity Typing for Low-Resource Languages

作者：韓旭，羅宇琦，陳暐澤，劉知遠，孫茂松，周伯通，費昊，鄭孫聰

類型：Long?Paper

摘要：細粒度實體分類（Fine-grained Entity Typing，FGET）旨在為文本中的實體標注細粒度實體類型，這對于諸多與實體相關的 NLP 任務具有重要意義。FGET 的一個關鍵挑戰是資源不足問題 —— 為擁有復雜層次結構的實體類型來講，手動標記數據比較困難，尤其對于英語以外的語言來講，人工標注的數據更是十分稀缺。在本文中，我們提出一個跨語言對比學習框架來學習低資源語言上的 FGET 模型。具體來說，我們以多語言預訓練語言模型作為模型主干，幫助將實體分類所需知識從資源豐富的語言（如英語）轉移到資源匱乏的語言（如中文）。此外，我們引入了基于實體對的啟發式規則以及機器翻譯來獲取跨語言遠程監督數據，并在遠程監督數據上實施跨語言對比學習來增強模型的實體分類能力。實驗結果表明，基于上述框架，可以較為輕松地為低資源語言學習有效的 FGET 模型，即使沒有任何特定語言的人工標記數據。該工作與騰訊 TencentNLP Oteam 鄭孫聰老師團隊合作完成。

Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification

作者：胡聲鼎，丁寧，汪華東，劉知遠，王金剛，李涓子，武威，孫茂松

類型：Long Paper

摘要：使用特定任務提示微調(prompt-tuning)預訓練語言模型(PLM)是一種很有前景的文本分類方法。先前的研究表明，與具有額外分類器的普通微調方法相比，提示微調在低數據場景中具有顯著優勢。提示微調的核心思想是在輸入中插入文本片段，即模板，并將分類問題轉換為掩碼語言建模(MLM)問題，其中關鍵步驟是在標簽空間和標簽詞空間之間構建投影，即表達器(verbalizer)。表達器通常是手工制作或通過梯度下降搜索的，這可能缺乏覆蓋范圍，并給結果帶來相當大的偏差和高方差。在這項工作中，我們專注于將外部知識整合到表達器中，形成知識增強的提示微調方法(KPT)，以改善和穩定表達器。具體來說，我們使用外部知識庫(KB)擴展表達器的標簽詞空間，并在使用擴展的標簽詞空間進行預測之前使用預訓練模型本身對擴展的標簽詞空間進行細化。零樣本和少樣本文本分類任務的廣泛實驗證明了知識增強的提示微調的有效性。該工作與美團搜索與NLP部門合作完成。

Fully Hyperbolic Neural Networks

作者：陳暐澤，韓旭，林衍凱，趙和旭，劉知遠，李鵬，孫茂松，周杰

類型：Long Paper

摘要：雙曲神經網絡在復雜數據建模方面有著巨大潛力。然而，現有的大部分雙曲神經網絡并不能稱之為「完全雙曲」的，因為它們僅是在雙曲空間中編碼特征，而仍在雙曲空間原點的切空間（一個歐幾里得子空間）中進行大部分操作。在不同的空間中頻繁切換引入額外的開銷和不穩定性。在本文中，我們提出了一個完全的雙曲框架，基于洛倫茲變換（包括Boost和Rotation）來建立基于洛倫茲模型的雙曲神經網絡，以實現神經網絡的基本操作。此外，我們還證明了現有雙曲神經網絡所使用的切空間的線性變換是洛倫茲Rotation的一種松弛情況，且無法表達洛倫茲Boost，限制了現有雙曲神經網絡的能力。在四個NLP任務上的實驗結果表明，我們的方法在構建淺層和深層網絡方面都有更好的表現。該工作與騰訊微信模式識別中心合作完成。

Program Transfer for Complex Question Answering over Knowledge Bases

作者：曹書林，史佳欣，姚子俊，呂鑫，侯磊，李涓子，劉知遠，肖鏡輝，于濟凡，張含望

類型：Long Paper

摘要：在知識庫（KB）上回答復雜問題的程序歸納法旨在將問題分解為一個由多個函數組合而成的程序，程序在知識庫的執行從而最終答案。程序歸納的學習依賴于給定知識庫的大量平行問題-程序對。然而，對于大多數知識庫來說，通常是缺乏這樣的標注的，這使得學習非常困難。在本文中，我們提出了Program Transfer的方法，其目的是利用富資源知識庫上的程序標注作為外部監督信號來幫助缺乏程序標注的低資源知識庫的程序歸納。對于Program Transfer，我們設計了一個新穎的兩階段解析框架，并設計了一個高效的基于知識庫本體的剪枝策略。首先，一個Sketch解析器將問題翻譯成sketch，即函數的組合；然后，給定問題和sketch，一個參數分析器從知識庫中搜索具體的函數參數。在搜索過程中，我們結合知識庫的本體來調整搜索空間。在ComplexWebQuestions和WebQuestionSP上的實驗表明，我們的方法明顯優于SOTA方法，證明了Program Transfer和我們框架的有效性。該工作與清華大學李涓子老師團隊和華為諾亞實驗室劉群老師團隊合作完成。

?A Simple but Effective Pluggable Entity Lookup Table for Pre-trained Language Models

作者：葉德銘，林衍凱，李鵬，孫茂松，劉知遠

類型：Short Paper

摘要：預訓練的語言模型難以記住大規模語料庫中豐富事實知識，對于出現頻率比較低的實體，預訓練模型更容易遺忘它們的上下文信息。在本文中，我們通過聚合一個實體在不同句子中的的輸出表示，按照需求構建了一個可插拔的實體詞表。構建的詞向量可以兼容地插入句子中直接作為輸入，將實體知識注入預訓練語言模型中。與之前的知識增強型模型相比，我們的方法只需要2‰~5%的預計算量，并且能夠從新領域文本獲取知識實現領域遷移。在知識探測任務和關系分類任務上的實驗表明，我們的方法可以靈活地將知識注入BERT/RoBERTa/BART等多種不同架構的預訓練模型。該工作與騰訊微信模式識別中心合作完成。

?二?

Findings of ACL 2022

Sememe Prediction for BabelNet Synsets Using Multilingual and Multimodal Information

作者：豈凡超，呂傳承，劉知遠，孟笑君，孫茂松，鄭海濤

類型：Long Paper

摘要：在語言學中，義原被定義為語義的最小單位。人工標注單詞的義原知識庫已成功應用到各種NLP任務中。然而，現有的義原知識庫只涵蓋了少數幾種語言，阻礙了義原的廣泛利用。針對這一問題，文章提出了BabelNet同義詞集的義位預測任務(SPBS)，旨在基于BabelNet多語言百科詞典構建多語言義原知識庫。通過自動預測BabelNet同義詞集的義原，該同義詞集中的多個語言的詞將同時獲得義原注釋。然而，以往的SPBS方法并沒有充分利用BabelNet中豐富的信息。在本文中，我們利用BabelNet中的多語言同義詞、多語言定義和圖像來實現SPBS。我們設計了一個多模態信息融合模型，對這些信息進行編碼和組合，進行義原預測。實驗結果表明，我們的模型明顯優于以前的方法。該工作與清華大學深圳研究院鄭海濤老師團隊合作完成。

Going "Deeper": Structured Sememe Prediction via Transformer with Tree Attention

作者：葉奕寧，豈凡超，劉知遠，孫茂松

類型：Long Paper

摘要：含有單詞和最小語義單位的義原知識庫在很多NLP任務中有較好的表現。由于人工構建義原知識庫費時費力，一些研究試圖通過對未標注詞語的義原進行預測來實現自動的知識庫構建。然而已有的研究忽略了義原語義系統中非常重要的一部分——層次結構。本篇工作中，我們首次嘗試結構化的義原預測，即將單詞對應的義原預測為樹狀結構。同時，我們針對性地修改了注意力計算方法，由此設計了基于transformer的義原樹預測模型，并在實驗中驗證了它的有效性。我們也對模型的效果進行了定量和定性的分析。本工作的代碼將會開源。

Do Pre-trained Models Benefit Knowledge Graph Completion? A Reliable Evaluation and a Reasonable Approach

作者：呂鑫，林衍凱，曹藝馨，侯磊，李涓子，劉知遠，李鵬，周杰

類型：Long?Paper

摘要：近年來，預訓練語言模型（PLM）已被證明可以從大量文本中捕獲事實性知識，這促使了基于PLM的知識圖譜補全（KGC）模型的提出。然而，這些模型在性能上仍然落后于目前最佳的KGC模型。在本工作中，我們發現了這些模型性能較弱的兩個主要原因。即（1） 不準確的評估設定。在封閉世界假設（CWA）下的評估可能會低估基于PLM的KGC模型，因為這類模型引入了更多的外部知識；（2）對PLM的不恰當利用。大多數基于PLM的KGC模型只是簡單地將實體和關系的標簽拼接起來作為輸入，這導致句子的不連貫，這無法利用PLM中的隱性知識。為了緩解這些問題，我們提出了在開放世界假設（OWA）下的更準確的評估方式，即人工檢查不在知識圖譜中的知識的正確性。此外，我們還提出了一個新的基于PLM的KGC模型（PKGC）。其基本思想是將每個三元組及額外信息轉換為自然的提示句，并進一步將其輸入PLM進行分類。我們在兩個KGC數據集上的實驗結果表明，OWA在評估KGC方面更為可靠，尤其是在鏈接預測方面。此外，我們的PKCG模型在CWA和OWA設置下均取得了很好的性能。該工作與清華大學李涓子老師團隊和騰訊微信模式識別中心周杰老師團隊合作完成。

ELLE: Efficient Lifelong Pre-training for Emerging Data

作者：秦禹嘉，張家杰，林衍凱，劉知遠，李鵬，孫茂松，周杰

類型：Long?Paper

摘要：當前的預訓練語言模型（PLM）通常使用固定的、不更新的數據進行訓練，而忽略了在現實世界場景中，各種來源的數據可能會不斷增長，而這需要 PLM 能夠持續地整合各方面的信息。雖然這個目標可以通過對所有新老數據重新大規模訓練來實現，但眾所周知，這樣的過程在計算上是十分昂貴的。為此，我們提出了ELLE，旨在對新來的數據進行高效的持續預訓練。具體來說，ELLE包括 (1) 功能維持的模型擴展，它能夠靈活地擴展現有 PLM 的寬度和深度，以提高知識獲取的效率；(2) 預植領域提示詞（prompt），從而讓模型能夠更好地區分預訓練期間學到的通用知識，正確地激發下游任務的知識。我們在 BERT 和 GPT 上使用來自5個領域的數據來試驗，結果表明ELLE在預訓練效率和下游性能方面優于各種傳統的持續學習方法。該工作與騰訊微信模式識別中心周杰老師團隊合作完成。

Prompt Tuning for Discriminative Pre-trained Language Models

作者：姚遠，董博文，張傲，張正彥，謝若冰，劉知遠，林樂宇，孫茂松，王建勇

類型：Short?Paper

摘要：在精調預訓練語言模型方面，Prompt Tuning取得了令人印象深刻的成果。然而，現有的工作主要集中在對生成式預訓練語言模型的Prompt Tuning上，其預訓練任務為還原遮蓋的文本符號，如BERT。對于判別式的預訓練語言模型，例如ELECTRA，是否以及如何能夠有效地進行Prompt Tuning，仍然是一個開放挑戰。在這項工作中，我們提出了DPT，這是第一個用于判別式預訓練語言模型的Prompt Tuning框架，它將NLP任務重新形式化為一個判別式語言建模問題。在文本分類和問答任務上的實驗結果表明，與傳統精調方法相比，DPT取得了明顯更高的性能，同時也避免了在全量數據和低資源場景下精調大模型的不穩定問題。該工作與清華大學計算機系王建勇老師團隊以及騰訊搜索應用部林樂宇老師團隊完成。

下載一：中文版！學習TensorFlow、PyTorch、機器學習、深度學習和數據結構五件套！??后臺回復【五件套】
下載二：南大模式識別PPT??后臺回復【南大模式識別】

---

投稿或交流學習，備注：昵稱-學校（公司）-方向，進入DL&NLP交流群。

方向有很多：機器學習、深度學習，python，情感分析、意見挖掘、句法分析、機器翻譯、人機對話、知識圖譜、語音識別等。

記得備注呦

整理不易，還望給個在看！

總結

以上是生活随笔為你收集整理的清华ACL'22 | 一文读懂刘知远所在实验室18篇论文详情的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。