筆記整理 |?胡楠，東南大學

---

來源：ICLR 2021

論文下載地址：https://arxiv.org/pdf/2010.02329.pdf

動機

最近的研究表明，BERT和RoBERTa這種基于BERT的模型容易受到文字對抗攻擊的威脅。論文旨在從信息理論的角度解決此問題并提出InfoBERT，這是一種用于對預訓練語言模型進行健壯微調的新穎學習框架。InfoBERT包含兩個用于模型訓練的基于互信息的正則器：（i）Information Bottleneck regularizer，用于抑制輸入和特征表示之間的嘈雜的互信息；（ii）Anchored Feature regularizer，可增加局部穩定特征和全局特征之間的相互信息。論文提出一種方法可以從理論上分析和提高標準訓練和對抗訓練中語言模型的魯棒性。大量實驗表明，InfoBERT在自然語言推理（NLI）和問題解答（QA）任務的多個對抗性數據集上均達到了最先進的魯棒準確性。

貢獻

論文的貢獻總結如下。（i）從信息論的角度提出了一種新穎的學習框架InfoBERT，旨在有效地提高語言模型的魯棒性。（ii）提供了關于模型魯棒性的原則性理論分析，并提出了兩個基于MI的正則化器來細化局部和全局特征，可將其應用于針對不同NLP任務的標準訓練和對抗訓練。（iii）全面的實驗結果表明，InfoBERT可以在不犧牲良性準確性的情況下大幅提高魯棒準確性，從而在NLI和QA任務的多個對抗性數據集上產生了最先進的表現。

實驗

Adversarial Datasets：（I）Adversarial NLI（ANLI）是大型NLI基準，通過迭代、對抗性的、人為模型的循環過程收集來攻擊BERT和RoBERTa。ANLI數據集是強大的對抗性數據集，可輕松將BERTLarge的準確性降低至0％。（II）Adversarial ?SQuAD數據集是一種對抗性QA基準數據集，由一組手工規則生成并通過眾包進行精煉。由于沒有提供對抗訓練數據，因此論文僅在良性SQuAD訓練數據上微調RoBERTa Large，并在良性和對抗性測試集上測試模型。（III）TextFooler是最新的詞級對抗攻擊方法，用于生成對抗示例。為了創建對抗性評估數據集，論文分別從SNLI和MNLI的測試集中采樣了1,000個示例，并針對BERT Large和RoBERTa Large運行TextFooler以獲取對抗性文本示例。

Baselines：由于基于IBP的方法還不能應用于大規模的語言模型，并且基于隨機平滑的方法實現了有限的認證魯棒性，因此論文將InfoBERT與基于對抗訓練的三個競爭基線進行了比較：（I）FreeLB在微調階段對語言模型進行對抗性訓練，以提高泛化能力。（二）SMART在微調過程中使用對抗訓練作為平滑誘導正則化和Bregman近點優化，以提高語言模型的泛化和魯棒性。（三）ALUM在訓練前和微調階段都進行對抗性訓練，在廣泛的NLP任務中獲得了顯著的性能增益。由于對抗性訓練的高計算成本，論文將InfoBERT與ALUM和SMART進行了比較，并與原始文獻中的最佳結果進行了比較。

Evaluation Metrics：我們使用穩健精度或穩健F1評分來衡量基線模型和InfoBERT在面對對手數據時的穩健程度。具體來說，魯棒精度的計算方法是：，其中D_adv是對抗數據集，y是地面真值標簽，arg max選擇logits最高的類，是指示函數。類似地，魯棒F1分數的計算公式為：，其中是真實答案a和預測答案arg max之間的F1分數，arg max選擇概率最高的答案。

實驗結果：

論文從信息論的角度提出了一種新的學習框架InfoBERT，在理論分析的支持下，InfoBERT為提高BERT和RoBERTa對NLI和QA任務的魯棒性提供了一種原則性的方法。綜合實驗表明，InfoBERT在對抗性數據集上取得了新的進展，為提高語言模型表征學習的魯棒性提供了一種新的有效方法。

?

---

?

OpenKG

開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。

點擊閱讀原文，進入 OpenKG 網站。

總結

以上是生活随笔為你收集整理的论文浅尝 - ICLR2021 | 从信息论的角度提高语言模型的鲁棒性的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。