Towards A Friendly Online Community: An Unsupervised Style Transfer Framework for Profanity Redaction

文章目錄

• Towards A Friendly Online Community: An Unsupervised Style Transfer Framework for Profanity Redaction
• • Abstract
  • Main idea and Framework
  • • Problem Formulation
    • Retrieve
    • Generate
    • • Matching
      • Filling
    • Edit
    • Selection
  • Experimental Results
  • • Automatic Evaluations
    • Human Evaluations
  • Conclusion

會議：COLING2020

任務(wù)：文本解毒

Abstract

? 本文針對文本去毒任務(wù)，設(shè)計(jì)了一個(gè)檢索-生成-編輯（Retrieve, Generate and Edit）的無監(jiān)督風(fēng)格遷移流水線方法，通過詞限制的方式編輯冒犯性的評論，使其能夠保持高流暢度和較好地保留原始語義。實(shí)驗(yàn)結(jié)果在人工評估上SOTA，并且是唯一一個(gè)在所有自動(dòng)評估指標(biāo)上都表現(xiàn)一致的方法。

Main idea and Framework

Problem Formulation

? 給定一個(gè)限制詞匯表$V_r$，數(shù)據(jù)集D={($x_1,l_1$),($x_n,l_n$)}，$x_i$表示句子，$l_i$表示標(biāo)簽，當(dāng)句子中存在冒犯性詞$v_i(v_i\in V_r)$時(shí)，該標(biāo)簽為”offensive“，否則為”non-offensive“，對于$l_i$="offensive"的句子$x_i$，生成不包含任何在限制詞表中的冒犯性詞的句子$x_i^{?}$。本文的工作聚焦于褻瀆性刪除（Profanity removal）。

Retrieve

? 如圖1所示，RGE框架通過檢索可能的詞性標(biāo)注序列，作為生成候選句子和編輯模型糾正候選句子的模板。

• 對冒犯性（Offensive，O）和非冒犯性（Non-offensive，N）都進(jìn)行詞性標(biāo)注（POS tagging），對于受限詞典$V_r$中的冒犯性單詞，將其詞性置為[BW]。這樣得到了兩個(gè)語料庫中每個(gè)句子的詞性標(biāo)注序列。
• 給定一個(gè)句子$x_i$和它的詞性標(biāo)注序列$p_i$，使用基于TF-IDF的Lucene搜索引擎來搜索N語料庫中的與其相似度最高的十個(gè)POS序列集合{$p_i^{\prime }$}。

Generate

? 給定$x_i$，$p_i$，{$p_i^{\prime }$}。生成模塊創(chuàng)建一個(gè)不包含冒犯性詞的候選句集合$C_i$。該模塊通過將$x_i$中的單詞“匹配”到每個(gè)$p_i$中的可能位置來生成新的句子來實(shí)現(xiàn)。無法匹配的位置通過預(yù)訓(xùn)練的語言模型進(jìn)行"填充"。算法流程如下圖所示。

Matching

? 算法解讀：

• 取源詞性序列$p_i$和相似詞性序列{$p_i^{\prime }$}，取它們的詞性交集，即都有的詞性，記作$T_{shared}$；
• 對$T_{shared}$中的每個(gè)詞性，在源句子$x_i$中找到屬于該詞性的詞；
• 把這些詞分配給相似詞性序列中對應(yīng)該詞的詞性的位置，這樣對于N個(gè)詞和M個(gè)位置，應(yīng)該有$max(A_N^M,A_M^N)$種排列組合，因?yàn)镹和M的大小不固定，且需要考慮位置，每個(gè)位置都需要分配一個(gè)詞；
• 將匹配生成的句子加入候選句序列。

Filling

? 對于候選句集合$C_i$，使用預(yù)訓(xùn)練的RoBERTa-base模型對其中的[MASK] token進(jìn)行填充。為了增強(qiáng)內(nèi)容保留度，在每個(gè)生成句子之前插入源句子$x_i$，用[SEP]進(jìn)行分隔，使用RoBERTa預(yù)測的不在限制詞表中的最可能的單詞替換[MASK]。最后，在每個(gè)[SEP]后的無掩碼的句子即生成模型的輸出。

Edit

? 該模塊用于糾正生成模塊輸出句子的一些問題，例如由于排列組合產(chǎn)生的錯(cuò)誤的詞序、由于檢索產(chǎn)生的不良詞性標(biāo)注序列導(dǎo)致的低流暢度文本。

• 首先隨機(jī)采樣了60K個(gè)non-offensive句子，然后將檢索和生成模塊應(yīng)用于它們。然后應(yīng)用Retrieve得到去掉第一個(gè)檢索序列的最終序列{$P_i^{N^{\prime }}$}，因?yàn)樗遣樵冃蛄?span id="ze8trgl8bvbq" class="katex--inline">$y_i$本身；

• 然后，使用生成的候選集合$C_i^N$作為源數(shù)據(jù)集，同時(shí)將原始non-offensive句子作為目標(biāo)數(shù)據(jù)集，形成一個(gè)平行語料庫，最后得到780K個(gè)句子對；

• 在平行語料庫上微調(diào)T5-small，優(yōu)化其重構(gòu)損失，得到編輯后的候選集$C_i^{\prime }$。

Selection

? 該模塊用于從候選句子集$C_i^{\prime }$中選擇一個(gè)質(zhì)量最高的$x_i^{?}$。

• 首先刪除任何存在限制詞的候選句子；
• 每個(gè)生成的候選句子和源句子進(jìn)行BLEU值計(jì)算和PPL計(jì)算（使用預(yù)訓(xùn)練的GPT-2）；
• 將BLEU和PPL使用MinMaxScaler歸一化到[0,1]區(qū)間，選取BLEU+PPL的和最高的句子作為最終輸出的句子。

Experimental Results

? 作者對比了八種現(xiàn)存的風(fēng)格遷移方法。針對一些方法存在類別不平衡問題，對非冒犯性言論數(shù)據(jù)集進(jìn)行了二次抽樣，使其規(guī)模從7M增大到350K。

Automatic Evaluations

• Content preservation:BLEU-self（BL），ROUGE（RG），METEOR（MT）；
• Style transfer accuracy（Acc）：生成的句子中不包含任何限制詞的句子比例；
• Fluency：預(yù)訓(xùn)練的GPT-2計(jì)算PPL
• Result：

? 實(shí)驗(yàn)結(jié)果表明，本文提出的方法是唯一一個(gè)在三類指標(biāo)上都表現(xiàn)一致的方法。其中，R+G+E+S的PPL值比R+G+S低226個(gè)點(diǎn)，說明利用與訓(xùn)練的Seq2Seq模型對生成的候選句進(jìn)行修正是有效的。源數(shù)據(jù)集的PPL值為458.1。

? 作者在（Fighting offensive language on social media with unsupervised text style transfer.ACL 2018）該文的數(shù)據(jù)集中進(jìn)行實(shí)驗(yàn)，對比了實(shí)驗(yàn)結(jié)果，超越其性能。

Human Evaluations

? Gra表示語法正確度，Succ.表示風(fēng)格遷移成功率。選取了四個(gè)表現(xiàn)最好的模型，從冒犯性言論中采樣100條句子進(jìn)行人工評估。實(shí)驗(yàn)結(jié)果表明，本文的模型在Succ.明顯比其他模型較高。

Conclusion

? 這篇文章主要思路是用檢索的方法來做，根據(jù)詞性序列相似度計(jì)算拿到候選詞性序列，然后根據(jù)詞性分配候選詞。對于無法分配候選詞的詞性會帶有[MASK]標(biāo)記，這時(shí)使用RoBERTa進(jìn)行MASK預(yù)測。在這一整個(gè)過程中都對生成詞做限制，防止冒犯性詞出現(xiàn)。因此會造成一系列問題，比如詞序錯(cuò)亂，句子不通順等問題。本文緩解這類問題的方法是用T5模型訓(xùn)練一個(gè)Seq2Seq模型優(yōu)化候選句和源句子的重構(gòu)損失，以及在RoBERTa預(yù)測時(shí)插入源句子。但是，相比大規(guī)模預(yù)訓(xùn)練語言模型做的工作，句子的困惑度還是偏高，也可能是數(shù)據(jù)集本身PPL值就挺高，文章中有提到。

總結(jié)

以上是生活随笔為你收集整理的【论文笔记】An Unsupervised Style Transfer Framework for Profanity Redaction的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。