?PaperWeekly 原創 ·?作者｜尹娟

學校｜北京理工大學博士生

研究方向｜隨機過程、復雜網絡單位

引言

貝葉斯神經網絡（BNN）在最近幾年得到了一定的重視，因為其具有一定的推斷能力。BNN 不同于一般的 DNN，其權重參數是隨機變量，而非確定的值，它是通過概率建模和神經網絡結合起來，并能夠給出預測結果的置信度。

其先驗用來描述關鍵參數，并作為神經網絡的輸入。神經網絡的輸出用來描述特定的概率分布的似然。通過采樣或者變分推斷來計算后驗分布。這對于很多問題來說非常關鍵，由于 BNN 具有不確定性量化能力，所以具有非常強的魯棒性。

本文分析了貝葉斯神經網絡對對抗攻擊具有一定的魯棒性并且分析了在大數據量、過參數極限下的對抗攻擊的幾何結構。并且作者證明了，在一定范圍內，由于數據分布中的簡并性（高維數據可以映射到低維流形上），當數據位于環境空間的低維子流形上時，基于梯度的攻擊的脆弱性就會出現，并且本論文提供了相關的代碼，最后一部分會介紹相關的代碼。

論文標題：

Robustness of Bayesian Neural Networks to Gradient-Based Attacks

論文鏈接：

https://arxiv.org/abs/2002.04359

論文的貢獻

本文的貢獻可以歸結如下三點：

• 作者提出了在大數據限制下 BNNs 對抗魯棒性分析的理論框架，該理論框架也是該論文的核心貢獻。

• 作者證明了在損失函數梯度的后驗平均值為零的情況下，貝葉斯神經網絡會對基于梯度的攻擊的具有一定的魯棒性，論文中的定理，引理和推論都以此展開。

• 該論文是一篇理論和實驗相對嚴格的文章，實驗表明 BNN 對基于梯度的攻擊具有魯棒性，能夠抵抗已知的精度魯棒性權衡，與作者的證明很好的切合。

模型介紹

3.1 核心思想

論文作者通過理論推導和大量的實驗證明了貝葉斯神經網絡具有一定的魯棒性，網絡本身就可以抵御一定的對抗攻擊，并且提出了攻擊貝葉斯神經網絡的方法 FGSM（類似于攻擊傳統神經網絡的 FGSM），類似的還有 PGD 和 MIM 等迭代的攻擊。

3.2 貝葉斯網絡

貝葉斯模型可以通過預測器的集合來捕捉數據驅動模型的內在認知下的不確定性；它通過將算法參數（以及相應的預測）轉化為隨機變量來實現。在神經網絡中，對于具有輸入 和網絡權重參數 的神經網絡 ，則從網絡權重 的先驗度量開始。通過似然 評估權重為 的網絡與數據 的擬合度。

貝葉斯推理通過 Bayes 定理將似然和先驗相結合，得到權重空間 的后驗測度。神經網絡的標準訓練可以看作是貝葉斯推理的一種近似。對于 NNs 這樣的非線性/非共軛模型來說，精確地獲得后驗分布是不可能的。

后驗分布的漸近精確樣本可以通過蒙特卡洛模擬來獲得，對于一個新輸入的樣本 貝葉斯預測都是從 n 個神經網絡的集合中獲得的，每個神經網絡的權重都來自于其后驗分布 ：

論文中這這部分作者沒有詳細展開說明，不過可以從公式可以推測出來 表示的是已知訓練數據集的情況下，貝葉斯神經網絡給出的樣本 的預測， 表示是不同權重參數的給出預測的期望，然后用蒙特卡洛模擬將期望形式轉化成離散的平均加和的形式。

3.3 對抗攻擊

給定樣本點 和攻擊強度（也是攻擊擾動量），則生成對抗樣本 x 的目標函數為：*

要知道 是非線性非凸的，基于梯度的一階攻擊方法是一種高效的求解方式，與 Goodfellow 提出的生成傳統對抗樣本的 FGSM 方法的原理相似，論文作者提出了相類似的貝葉斯神經網路生成對抗樣本的方法，具體形式如下所示：

類似的還有 PGD 和 MIM 等迭代攻擊的形式，本文著重講解有關 FGSM 的相關算法。

3.4 貝葉斯神經網絡對抗魯棒性

本文這一部分會涉及到一個定理，兩個引理和一個推論，其中心思想突出的是貝葉斯神經網絡具有一定的魯棒性并分析了數據流形和對樣樣本之間的關系，作者提出了針對貝葉斯神經網絡的對抗攻擊。

直觀上 BNN 對抗性攻擊的魯棒性的一個可能的解釋是后驗下的平均值可能導致梯度的最終期望值為 0。這種平均特性與所謂的數據流形幾何結構密切相關。作者證明了隨機梯度下降法（在分布水平上）在過參數、大數據極限下的可以全局收斂性。

定理1：令 是一個訓練完全，過參數化的貝葉斯神經網絡，其中該網絡的樣本數據流形為 ，先驗權重參數為 。假定 處處存在，在大數據的極限下，會有如下形式：

定理 1 說明在網絡結構和數據量高精度和強表達的情況下，BNN 梯度的平均效應對網絡具有一定的保護作用。隨著網絡參數和訓練輸入數目的增加，梯度期望值的大小會減小。

定理 1 是在一致先驗假設下被證明的；我們可以觀察到定理中提及了在大數據的極限下這個條件，換言之如果突破這個極限，與理想情況會有一定的偏差。

引理1：令 是一個訓練完全，過參數化的貝葉斯神經網絡，其中該網絡的樣本數據流形為 ，先驗權重參數為 。令 ，則 表示以 為中心， 為半徑的多維球體，那么 對基于梯度攻擊有強度 的魯棒性。

引理 1 說明了當在目標函數收斂時，過參數神經網絡可在無限數據極限下對整個數據流實現零損失，這意味著函數 將在 處局部恒定，所以貝葉斯神經網絡 可以抵御一定程度的對抗攻擊。

推論1：令 是一個訓練完全，過參數化的貝葉斯神經網絡，其中該網絡的樣本數據流形為 ，并且數據分布平滑的。如果 在樣本點 受到對抗攻擊的數據維度為 。

推論 1 說明了對抗性攻擊可能源于數據流形的退化。事實上 Goodfellow 曾經提出過對抗性的擾動會出現在與數據流形垂直的方向上。嵌入空間中數據流形的余維越高，對抗樣本就越有可能存在于與其垂直的隨機方向上。

引理2：令 是一個訓練完全，過參數化的貝葉斯神經網絡，其中該網絡的樣本數據流形為 ，先驗權重參數為 。樣本 由概率梯度 所攻擊，在無限數據的極限下，對于幾乎所有的 ，存在一組權重 ，使得：

引理 2 說明可以通過求出目標函數的概率梯度，以此適當地局部擾動完全訓練的神經網絡 ，以達到攻擊貝葉斯神經網絡的目的。

實驗結果

下圖表示的是在半月數據集（頭一次聽說）中 100 個二維測試點上的預期損失梯度分量（其顯示了損失函數的兩個偏導數）。每個點代表不同的神經網絡架構。作者使用了一組 HMC-BNN（HMC 表示的是蒙特卡洛模擬），通過改變隱藏神經元的數量和訓練點。

論文只考慮了模型測試精度大于80%的情況。可以觀察到當損失梯度趨于零時，訓練點數量和參數數量不斷增加，隨著從?的后驗分布中提取的樣本數量增加，梯度的所有分量都接近于零，實驗結果與定理 1一致，只有通過集合預測器的貝葉斯平均，梯度才能被抵消趨近為 0。

下圖為 MNIST （頂行）和 Fashion MNIST（下一行）的示例圖像及其與 HMC（左）和 VI（右）訓練的網絡的期望損失梯度。在圖像的右側，還繪制了漸變值的熱圖。下圖說明當從后驗預測分布中增加樣本數時，貝葉神經網絡的期望損失梯度呈現消失行為。

下圖顯示了來自 MNIST 和 Fashion MNIST 數據集的 1000 個不同測試圖像的 784 個梯度分量。梯度是在 HMC（a）和 VI（b）訓練的貝葉斯神經網絡上計算的。對于 HMC 和 VI，梯度分量的大小隨著樣本數量的增加而下降，并且在從后驗分布中抽取 100 個樣本時趨于穩定在零附近，這表明作者分析的 BNN 近似滿足定理 1 中規定的條件。在 HMC 訓練的網絡上計算的梯度更快地降到零。

下表表示了在 HMC 和 VI 訓練的 BNNs 對隨機擾動攻擊、FGSM 和 PGD 的對抗魯棒性，其中為 500 幅圖像的對抗準確度（即網絡返回干擾輸入的真實標簽的概率）。

對于每個圖像，作者使用 250 個后驗樣本計算期望的梯度。對于所有攻擊，作者都使用了與訓練過程中使用的可能性相關的分類交叉熵損失函數。可以觀察到隨機攻擊優于基于梯度的攻擊，說明梯度的消失行為使得 FGSM 和 PGD 攻擊失效。

下圖為使用 HMC（a）、VI（b）和 SGD（藍點）訓練的貝葉斯神經網絡在 MNIST（第一行）和 Fashion MNIST（第二行）上的穩健性-準確性示意圖。HMC 上的實驗表明精度和魯棒性之間存在正相關關系。箱線圖顯示了模型容量和魯棒性之間的相關性。

對于用 VI 訓練的貝葉斯神經網絡，魯棒性似乎與準確度呈負相關?？梢杂^察到模型大小有一些變化趨勢，僅在使用 MNIST 訓練的情況下觀察到這一點，在這種情況下，模型魯棒性可能會隨著層寬度的增加而增加，但這也會導致魯棒性差（這可能表示模式崩潰）。

總結思考

貝葉斯神經網絡興起的原因不僅在于其可以通過學習訓練數據進行推理而且在于貝葉斯網絡訓練的模型比傳統訓練網絡訓練的模型更具魯棒性，可以抵御一定的對抗攻擊。

讀完該論文自己一直有一個問題，論文中定理，引理還有推論中提及的那個條件“在大數據的極限下”，這個極限到底是多少，換言之如果突破這個極限所有的定理，引理還有推論都不成立，作者也坦言也不是很清楚自己論文中的實驗數據量離這個極限有多近。

不過該論文相對嚴格的給出了他的證明和實驗，并且突出了對抗的脆弱性和數據流形幾何結構之間的深刻聯系；正是這種聯系能夠證明，原則性隨機化可能是在高維環境下提供魯棒性的有效方法，為未來提供了以較低的計算成本對模型進行對抗保護的研究方向。

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結

以上是生活随笔為你收集整理的贝叶斯神经网络对梯度攻击的鲁棒性的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。