論文標題：

Boosting Factual Correctness of Abstractive Summarization with Knowledge Graph

論文作者：

Chenguang Zhu, William Hinthorn, Ruochen Xu, Qingkai Zeng, Michael Zeng, Xuedong Huang, Meng Jiang

論文鏈接：

https://arxiv.org/abs/2003.08612

---

抽象式文本摘要具有更加靈活的特點，然而，它也容易導致“文本事實偏離”——錯誤地提取了文章給出的基本事實。此時，盡管生成的文本很通順，但是它包含了錯誤的事實，這就改變了原文的信息。

本文提出把知識圖譜融入到文本摘要的過程中，通過顯式地提取事實性知識，生成的摘要可以更好地利用這些知識，從而最大限度地保留原義。

抽象式文本摘要與事實性知識丟失

文本摘要是NLP中非常重要的一項任務，即給定一篇長文章，模型生成一小段文本作為對該文章的摘要。

總的來講，文本摘要分為抽取式與抽象式。前者是直接從文章中選取片段作為摘要，后者是從頭開始生成一段文本作為摘要。

顯然，抽取式文本摘要的好處是它能保留文章的原始信息，但缺點是它只能從原文章中選取，相對不那么靈活。

而抽象式摘要盡管能更加靈活地生成文本，但是它經常包含很多錯誤的“事實性知識”——錯誤地生成了原文章本來的信息。

比如，原文章包含了一個重要事實（觀點）：“諾蘭于2010年導演了《盜夢空間》，由萊昂納多主演。”

但是，抽象式摘要模型可能就會生成：“萊昂納多導演了《盜夢空間》。”這就是事實性知識的錯誤。

針對這種現象，本文在抽象式摘要中融入了知識圖譜：

• 首先使用知識圖譜動態地提取文章中的事實性知識；

• 把提取到的事實性知識融合到文本生成的過程中；

• 使得生成的文本不再包含事實性知識錯誤。

除此之外，本文還訓練了一個事實性知識評估模型，用于評估生成的摘要匹配原文事實性知識的程度。

通過在基準數據集CNN/DailyMail和XSum的實驗與分析，本文證明了該方法（FASUM）可以取得顯著更好的事實性知識度，同時也具有抽象式文本摘要的靈活的特點。

將知識圖譜融入到文本摘要過程

首先定義一下抽象式文本摘要的過程。設輸入是一篇文章，輸出是對應的摘要。下圖是模型結構示意圖：

模型由三個部分組成：知識提取器（知識圖譜）、編碼器和解碼器。知識圖譜負責從文章中提取事實性知識，編碼器負責編碼文本信息，解碼器負責融合編碼特征和事實性知識從而生成摘要。

知識圖譜構建

我們使用Stanford OpenIE從文章中提取事實性知識，每個知識表示為一個三元組。

比如對句子“Born in a town, she took the midnight train”，那么三元組就是(she, took, midnight train)。

在得到三元組之后，我們需要把它編碼為特征。為此，我們要首先構建一個基于文章的知識圖譜。

對每個三元組，我們把視為三個結點，然后得到兩條無向邊。這樣一來，通過對所有三元組構建邊，我們就能得到一個無向圖，這就是該文章的知識圖譜。

之后，我們在該知識圖譜上使用圖注意力模型提取每個結點的特征。如此，我們就完成了事實性知識特征的提取。

注意到，圖中的所有結點是文章的所有語言單元（如字、詞或子詞），如果涉及到事實性知識，它就有邊連接，否則它沒有邊連接。

知識融合

編碼器按照常規方法編碼文章，之后在解碼的時候把它和解碼器特征、知識特征融合。

如上圖所示，設編碼特征和解碼特征融合后的特征是，其中是已經生成的字(詞)數，且是知識圖譜中的結點的特征。那么，當前需要融入的事實性知識的特征就是：

這里增加了一個系數是因為知識特征和文本特征的尺度不一致，是當前解碼層數。

在得到之后，就可以通過常規的自注意力機制、層歸一化和殘差連接，和前饋層將各知識融合在一起，如上圖中間所示，得到該層最終的特征表示。

摘要生成

為了生成下一個語言單元，我們結合拷貝機制：

從而，最終生成語言單元的概率是：

其中，是解碼器最后一層對編碼器的關注度。取最大的值作為生成的字符（詞）即可。

事實性知識正確度評估

現在的問題是，我們該如何評估我們是否融入了事實性知識呢？我們可以用一個模型來表示摘要生成了文章的事實性知識的正確度。

模型可以是BERT，只需要把拼接起來，然后用[CLS]得到概率即可。然而，為了訓練模型，我們還需要一些訓練集。

訓練集包含正例和負例。正例來自：原摘要訓練語料、摘要的反譯（Backtranslation）。反例來自：隨機將摘要中的一個實體替換為文章中的同類實體。

在測試集上，該模型能實現最低的錯誤率——約26.8%。

實驗

我們在文本摘要的標準數據集CNN/DailyMail和XSum上實驗。事實性知識的評估使用上面訓練的模型，其他的指標包括ROUGE-1，ROUGE-2和ROUGE-L。基線模型包括：TCONVS2S，BOTTOMUP，UNILM。其他設置詳見原文。

下表是主要結果。可以看到，本文的方法（FASUM）在事實性知識評估上取得了和UNILM差不多的結果（后者使用了大規模預訓練），同時，去掉知識圖譜（KG）會顯著減低其得分，說明了知識圖譜提取事實性知識的作用。在ROUGH得分方面，FASUM稍低于基線模型。

為了檢驗抽象式摘要生成文本的“抽象程度”——生成新的n-gram的比例，如下圖所示。可以看到，FASUM在所有方法中，可以生成更加新穎的摘要，同時保留了事實性知識。

下面我們想具體看生成的摘要中包含的事實性知識和原文章的事實性知識的匹配程度如何。假設摘要中的事實性知識是，原文章的是，那么中的每個三元組和比較就有三種情況：

• ——correct hit（C）

• ，但是或者——wrong hit（W）

• 否則，為miss（M）

于是，我們可以計算匹配得分：

下表是計算結果。可以看到，FASUM在事實性知識匹配程度上顯著優于基線模型，這說明在文本摘要中加入知識圖譜的確可以保留事實性知識。

我們再來看看人工評測。如下表所示，在事實性得分上，FASUM毫無疑問取得最好結果；在信息度上，UNILM得分最高，其次是FASUM。

小結

在文本摘要中，提取事實性知識，即原文信息，是非常重要的一個環節。盡可能保留原文可以避免原義的曲解，對于鑒別當前互聯網上隨處可見的假新聞有重要的意義。

將知識圖譜融入到文本摘要任務中是NLP發展的一大趨勢，有助于加速NLP大規模落地應用的進程。

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的当知识图谱遇上文本摘要：保留抽象式文本摘要的事实性知识的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。