?

0.論文摘要

? ? 本文提出了對于對抗樣本存在原因的新解釋——神經網絡的線性特性，并提出了快速有效生成對抗樣本的方法以及基于對抗的模型訓練方式。

?

?

1.對抗樣本的線性解釋

? ??

? ? 考慮如上公式，其中??代表一個生成的對抗樣本，?代表權重參數，?代表在正常樣本??基礎上添加的擾動，其中擾動向量中每一元素的數值絕對值大小都不超過??。

? ? 當我們取??，對計算結果造成的最大影響大小為??，其中??表示向量的維數。所以當??足夠大時，即使擾動的最大范數很小，還是可以對總體結果產生較大影響。

?

?

2.神經網絡的一種對抗樣本生成算法——FGSM

? ? 擾動關鍵公式如下：

? ? 對這個公式的理解與之前類似，就是將擾動的向量方向設置為和損失函數梯度方向一致，使得擾動造成的影響更大

? ? 使用此算法產生對抗樣本進行實驗，結果：

? ? 當?，淺層softmax分類模型在MNIST上錯誤率為 99.9%，對應平均置信度為 79.3%

? ? 同樣的設定，maxout網絡在MNIST對抗樣本上錯誤率為 89.4%，對應平均置信度為 97.6%

? ? 當，卷積maxout網絡在CIFAR-10上錯誤率為 87.15%，對應平均置信度為 96.6%

? ? 所以這些結果也側面證明了是像之前 1 中所說——神經網絡由于過于線性特性而容易受到對抗樣本攻擊

?

?

3.對抗訓練以及和權重衰減的對比

? ??

? ? 其中推導第一個公式前請注意，樣本標簽 y 為 {1,-1} 時，? ，其余步驟與普通邏輯回歸推導一致。

? ? 然后我們考慮第二個對抗訓練所用損失函數公式。其中含有L1正則化項，但是與權重衰減不同的是，此時的L1正則化項是作用在激活函數的自變量上，而不是直接乘以懲罰系數加在損失函數后。所以這一項對模型造成的損失可能會隨著訓練過程而減小消失，而權重衰減造成的影響直到最后也不會消失但是可能會造成欠擬合現象的加重，因為直接作用在激活函數中模型擬合的難度更大。

? ? 另外，權重衰減的系數 ?的選擇比起??的選擇更為困難，往往要比??的取值小很多很多，當權重衰減系數過小雖然訓練效果更好，但是期望的正則化效果卻會達不到。

?

?

4.深層網絡的對抗訓練

? ? 通過這種訓練方法錯誤率也達不到 0 ， 不過可以采用增大模型參數量、在對抗性驗證集上使用early stopping的方式進一步降低錯誤率。

? ? 這種訓練方法能夠顯著降低面對FGSM生成的對抗性樣本的錯誤率，本文表示可以從 89.4% 降到 17.9%

?

?

5.關于抵抗性和對抗樣本的范化性

? ? RBF網絡自然地對于對抗樣本有較好的抵抗性，即當它們在對抗樣本上產生錯誤的分類結果時對應的置信度很低。

? ? 關于對抗樣本的范化性：針對某個模型的對抗樣本往往會被其他模型也錯誤分類，甚至它們對于這個對抗樣本的錯誤分類結果也差不多相同。具體實驗結果見下方所示：

? ? 由上實驗結果我們可知：對抗樣本出現在連續的空間內，而不是離散分布的，并且我們觀察到了結果概率變化和??之間的某種線性關系。

? ? 至于為什么不同模型的錯誤分類結果都類似，本文給出了一個假設可以概括為：基于當前的學習優化方法，不同模型學習到的模型參數類似，學習到的重要參數的穩定性導致了對抗樣本被分類結果的穩定性。

?

? ??

總結

以上是生活随笔為你收集整理的【论文阅读笔记】Explaining And Harnessing Adversarial Examples的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。