引流：https://www.cnblogs.com/setdong/p/16300720.html

本文發(fā)表于 ICLR 2015，提出了經(jīng)典的攻擊方法 - FGSM（Fast Gradient Sign Method），這篇博客的第1-5節(jié)為重點(diǎn)部分，包括原文第5節(jié)的公式推導(dǎo)。

1. 對(duì)抗擾動(dòng)

尋找對(duì)抗樣本的目標(biāo)是：1）模型將其錯(cuò)誤分類；2）人眼無(wú)法分辨對(duì)抗擾動(dòng)。已知對(duì)抗樣本 $\tilde{x}$ 的公式為：
$$\tilde{x}=x+\eta \text{\hspace{1em}(1)}$$
其中，$x$ 為干凈樣本/原始樣本/自然樣本，$\eta$ 為對(duì)抗擾動(dòng)。需要對(duì)擾動(dòng)加以限制以保證擾動(dòng)小得難以被人眼識(shí)別：$||\eta |{|}_{\infty }<?$，這個(gè)約束表示：圖片中每個(gè)像素點(diǎn)的擾動(dòng)范圍必須小于 $?$。

L-infinity norm：$||x|{|}_{\infty }=\max (|x_i|)$，其中 $x_i$ 為 向量$x$ 中的元素。

2. 線性模型

對(duì)于線性模型，考慮重$w$與對(duì)抗樣本$\tilde{x}$的點(diǎn)積：
$$w^T\tilde{x}=w^{T}x+w^T\eta \text{\hspace{1em}(2)}$$
$w^T\eta$ 是增量，可以令$\eta =\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}(w)$來(lái)最大化這個(gè)增量，前提是保證 $L_{\infty }$ 范數(shù)限制（即$||\eta |{|}_{\infty }<?$）。不難算出，$w^T\eta =w^T\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}(w)=||w|{|}_1$。

如果$w$的維度為$n$，元素的平均大小為$m$，那么增量為$?mn$。

$||\eta |{|}_{\infty }$不隨$n$改變，但增量隨$n$線性增長(zhǎng)，所以對(duì)于高維問(wèn)題，可以對(duì)輸入進(jìn)行許多很小的改變，合起來(lái)對(duì)輸出就是一個(gè)很大的改變。作者將其描述為"accidental steganography"，所以如果一個(gè)簡(jiǎn)單的線性模型的輸入的維度足夠大，它就可以找到對(duì)抗樣本。

3. 非線性模型

假設(shè) $\theta$ 為模型的參數(shù)，$x$ 為模型的輸入，$y$ 為目標(biāo)輸出，$J(\theta ,x,y)$ 為用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的損失函數(shù)。FGSM 給出的對(duì)抗擾動(dòng)為：
$$\eta =?\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}({▽}_{x}J(\theta ,x,y))\text{\hspace{1em}(3)}$$
其中的梯度可由 BP 計(jì)算。不難理解，當(dāng)輸入 $x$ 沿著 ${▽}_{x}J(\theta ,x,y)$ 方向梯度下降一點(diǎn)點(diǎn)的話，模型將它預(yù)測(cè)為 $y$ 的可能性越大，但根據(jù)公式（1）可知，對(duì)抗樣本的生成是 $x$ 加上 $?\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}({▽}_{x}J(\theta ,x,y))$，也就是沿著$ \triangledown_x J(\theta,x,y)$ 方向增加一點(diǎn)點(diǎn)，即沿著梯度下降相反的方向走，變化的值由 $?$ 決定，所以這樣得到的 $\tilde{x}$ 更小的可能被模型預(yù)測(cè)為 $y$。

圖1.使用 FGSM 構(gòu)造對(duì)抗樣本，其中模型選擇 GoogLeNet，數(shù)據(jù)集選擇 ImageNet，$?=0.007$。

4. 線性模型的對(duì)抗訓(xùn)練 vs 權(quán)值衰減

4.1 二分類

首先考慮二分類的邏輯回歸問(wèn)題，假設(shè)標(biāo)簽 $y\in \{?1,1\}$，$P(\hat{y}=1)=\sigma (w^{T}x+b)$，其中 $\sigma$ 是 sigmoid 函數(shù)，那么：
$$P(\hat{y}=?1)=1?\sigma (w^{T}x+b)=\sigma (?(w^{T}x+b))$$
將這兩種情況整理為一種表達(dá)式：
$$P(\hat{y})=\sigma ((a\hat{y}+b)(w^{T}x+b))$$
帶入兩種情況的值可解得 $a=1$，$b=0$，所以有：
$$P(\hat{y}|x)=\sigma (\hat{y}(w^{T}x+b))$$
接下來(lái)考慮損失函數(shù)，對(duì)于一組樣本，交叉熵?fù)p失為：
$$\begin{array}{rl}J(\theta ,x,y_{true})& =?\sum P(y_{true})\log (P(\hat{y}=y_{true}|x))+(1?P(y_{true}))\log (1?P(\hat{y}=y_{true}|x))\\ & =?\sum \log (P(\hat{y}=y_{true}|x))\\ & =?{\mathbb{E}}_{x,y_{true}～p_{data}}\log (P(\hat{y}=y_{true}|x))\\ & =?{\mathbb{E}}_{x,y_{true}～p_{data}}\log (\sigma (y_{true}(w^{T}x+b)))\end{array}\text{\hspace{1em}(4)}$$
根據(jù) sigmoid 的性質(zhì)之一：$\log \sigma (x)=?\zeta (?x)$，公式（4）可變?yōu)?#xff1a;
$$J(\theta ,x,y_{true})={\mathbb{E}}_{x,y_{true}～p_{data}}\zeta (?y_{true}(w^{T}x+b))\text{\hspace{1em}(5)}$$
其中，$\zeta (z)=\log (1+\exp (z))$為 softplus 函數(shù)，note 它的導(dǎo)數(shù)為${\zeta }^{\prime }(z)=\frac{e^z}{1+e^z}=\sigma (z)$。

接下來(lái)考慮擾動(dòng) $\eta$，對(duì)于一個(gè)樣本 $x$ 和它的真實(shí)標(biāo)簽 $y_{true}$：
$$\begin{array}{rl}\eta & =?\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}({▽}_{x}J(\theta ,x,y_{true}))\\ & =?\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}({▽}_x\zeta (?y_{true}(w^{T}x+b)))\\ & =?\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}((?y_{true}w)\sigma (?y_{true}(w^T+b)))\end{array}\text{\hspace{1em}(6)}$$
$\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}$中的第二項(xiàng)大于0，可省略，即：
$$\eta =??y_{true}\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}(w)\text{\hspace{1em}(7)}$$
結(jié)合$w^T\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}(w)=||w|{|}_1$，帶入公式（5）可得：
$$\begin{array}{rl}& {\mathbb{E}}_{x,y_{true}～p_{data}}\zeta (?y_{true}(w^{T}x+b))\\ =& {\mathbb{E}}_{x,y_{true}～p_{data}}\zeta (?y_{true}(w^{T}x+w^T\eta +b))\\ =& {\mathbb{E}}_{x,y_{true}～p_{data}}\zeta (?y_{true}(w^{T}x+b)+?||w|{|}_1)\end{array}\text{\hspace{1em}(8)}$$
[Note：公式（8）跟原文不一樣，個(gè)人認(rèn)為論文中的是錯(cuò)誤的，公式（7）一定帶有 $y_{true}$ 項(xiàng)，否則擾動(dòng)不隨 label 的不同而改變，將是個(gè)定值，這是不對(duì)的。]
這有點(diǎn)類似于 L1 正則化。區(qū)別是，L1懲罰項(xiàng)是在對(duì)抗的訓(xùn)練期間從模型的激活中減去，而不是添加。 如果模型訓(xùn)練出精確的預(yù)測(cè)能力以使$\zeta$飽和，那么懲罰項(xiàng)會(huì)開始消失。但不保證一定飽和，在欠擬合的情況下，對(duì)抗訓(xùn)練會(huì)加劇欠擬合。所以，作者將L1權(quán)值衰減視為"worst case"。

4.2 多分類

考慮多分類的 softmax 回歸問(wèn)題，L1 權(quán)值衰減會(huì)變得更加悲觀，因?yàn)樗鼘oftmax的每個(gè)輸出視為獨(dú)立的量，而實(shí)際上無(wú)法找到與所有類的權(quán)重向量對(duì)齊的單個(gè)向量$\eta$。在具有多個(gè)隱藏單元的深度網(wǎng)絡(luò)中，權(quán)值衰減高估了擾動(dòng)造成的損害。L1權(quán)值衰減高估了對(duì)抗樣本能造成的損害，所以應(yīng)當(dāng)使用比特征精度$?$更小的L1權(quán)值衰減系數(shù)。
在MNIST上訓(xùn)練maxout網(wǎng)絡(luò)，當(dāng)$?=0.25$時(shí)對(duì)抗訓(xùn)練得到了不錯(cuò)的結(jié)果。在對(duì)模型的第一層應(yīng)用L1權(quán)值衰減時(shí)，作者發(fā)現(xiàn)$?=0.0025$都太大了，導(dǎo)致模型在訓(xùn)練集上出現(xiàn)超過(guò)5% 的誤差。很小的權(quán)值衰減系數(shù)能提高訓(xùn)練的成功率，但是沒(méi)有起到正則化的作用。

5. DNNs 的對(duì)抗訓(xùn)練

相比于淺層的線性模型，深度網(wǎng)絡(luò)至少能表示出抵抗對(duì)抗擾動(dòng)的函數(shù)。
Szegedy表明，在混合了對(duì)抗樣本和干凈樣本的數(shù)據(jù)集上進(jìn)行訓(xùn)練可以一定程度的對(duì)神經(jīng)網(wǎng)絡(luò)正則化。
作者給出了一個(gè)基于FGSM的對(duì)抗訓(xùn)練方法，這也是一種有效的regularizer：
$$J(\theta ,x,y)=\alpha J(\theta ,x,y)+(1?\alpha )J(\theta ,x+?\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}({▽}_{x}J(\theta ,x,y)))$$
在實(shí)驗(yàn)中，作者令$\alpha =0.5$。這種對(duì)抗訓(xùn)練方法意味著不斷更新對(duì)抗樣本，以使它們對(duì)抗當(dāng)前版本的模型。使用此方法來(lái)訓(xùn)練使用dropout的maxout網(wǎng)絡(luò)，錯(cuò)誤率為0.84%，而沒(méi)采用對(duì)抗訓(xùn)練的網(wǎng)絡(luò)錯(cuò)誤率為0.94%。
作者在訓(xùn)練集的對(duì)抗樣本上沒(méi)有取得過(guò)0錯(cuò)誤率，他們給出了兩個(gè)解決方法：

• 1.使模型更大：每層使用1600個(gè)單元（之前為240個(gè)）。

當(dāng)沒(méi)采用對(duì)抗訓(xùn)練，模型會(huì)有些過(guò)擬合，測(cè)試集上的錯(cuò)誤率為1.14%。當(dāng)使用了對(duì)抗訓(xùn)練，驗(yàn)證集的錯(cuò)誤率十分緩慢地隨著時(shí)間趨于平穩(wěn)。初始的maxout實(shí)驗(yàn)使用了early stopping，當(dāng)驗(yàn)證集的錯(cuò)誤率在100個(gè)epoch內(nèi)沒(méi)有下降后終止學(xué)習(xí)。作者發(fā)現(xiàn)，即使驗(yàn)證集錯(cuò)誤率十分平坦，但對(duì)抗驗(yàn)證集（adversarial validation set error）并非如此，所以：

• 2.在對(duì)抗驗(yàn)證集上也使用early stopping。

采用這兩點(diǎn)后，作者在MNIST數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，錯(cuò)誤率為0.782%。
對(duì)抗樣本還可以在兩個(gè)模型之間轉(zhuǎn)移，但經(jīng)過(guò)對(duì)抗訓(xùn)練的模型顯示出更高的魯棒性：模型采用對(duì)抗訓(xùn)練，當(dāng)對(duì)抗樣本由此模型生成時(shí)：模型錯(cuò)誤率為19.6%；當(dāng)對(duì)抗樣本由另一個(gè)模型生成時(shí)：模型錯(cuò)誤率為40.9%。錯(cuò)誤分類的樣本的平均置信度為81.4%。 作者還發(fā)現(xiàn)模型的權(quán)重發(fā)生了顯著變化，采用對(duì)抗訓(xùn)練的模型的權(quán)重明顯更具本地化和可解釋性（見圖 3）。

圖3. 在MNIST上訓(xùn)練的maxout網(wǎng)絡(luò)的權(quán)重可視化。每行展示了單個(gè)maxout單元的filter。 左）無(wú)對(duì)抗訓(xùn)練的模型；右）使用對(duì)抗性訓(xùn)練的模型。

噪聲會(huì)導(dǎo)致目標(biāo)函數(shù)值降低，可以將對(duì)抗訓(xùn)練視為在一組有噪輸入中進(jìn)行樣本挖掘，以便通過(guò)僅考慮那些強(qiáng)烈抵制分類的噪聲點(diǎn)來(lái)更有效地訓(xùn)練。作為對(duì)照實(shí)驗(yàn)，作者訓(xùn)練了一個(gè)帶有噪聲的maxout網(wǎng)絡(luò)，訓(xùn)練的噪聲為：1.隨機(jī)添加$\pm ?$到每個(gè)像素; 2.添加噪聲（噪聲服從$U(??,?)$）到每個(gè)像素。在FGSM生成的對(duì)抗樣本上，1的錯(cuò)誤率為86.2%，置信度為97.3%；2的錯(cuò)誤率為90.4%，置信度為97.8%。

符號(hào)函數(shù)的導(dǎo)數(shù)處處為0或未定義（原點(diǎn)處），因此基于FGSM對(duì)抗訓(xùn)練的模型無(wú)法預(yù)測(cè)adversary將如何對(duì)參數(shù)的變化做出反應(yīng)。如果改為基于小幅度旋轉(zhuǎn)或添加縮放梯度（scaled gradient）的對(duì)抗樣本，那么擾動(dòng)過(guò)程本身是可微的，并且學(xué)習(xí)過(guò)程中可以看到adversary的反應(yīng)。

這里提到了一個(gè)問(wèn)題：擾動(dòng)輸入更好，還是擾動(dòng)隱藏層更好，或是二者都被擾動(dòng)？這里的結(jié)論是不一致的。Szegedy等人通過(guò)對(duì)sigmoidal網(wǎng)絡(luò)實(shí)驗(yàn)總結(jié)出：當(dāng)對(duì)抗擾動(dòng)應(yīng)用在隱藏層時(shí)，正則效果最好。文本中作者的實(shí)驗(yàn)基于FGSM，他們發(fā)現(xiàn)具有無(wú)界激活(unbounded activation functions)的隱藏單元的網(wǎng)絡(luò)只是通過(guò)使隱藏單元的激活非常大來(lái)做出響應(yīng)，因此通常最好只擾動(dòng)原始輸入。在Rust模型等飽和模型上，輸入的擾動(dòng)與隱藏層的擾動(dòng)相當(dāng)。基于旋轉(zhuǎn)隱藏層的擾動(dòng)解決了無(wú)界激活增長(zhǎng)的問(wèn)題，從而使擾動(dòng)相對(duì)更小。使用隱藏層的旋轉(zhuǎn)擾動(dòng)，作者成功地訓(xùn)練了maxout網(wǎng)絡(luò)。然而，這并沒(méi)有產(chǎn)生與輸入層一樣正則化效果。神經(jīng)網(wǎng)絡(luò)的最后一層（linear-sigmoid或linear-softmax層）不是隱藏層最后一層的通用近似，這表明在對(duì)隱藏層最后一層應(yīng)用對(duì)抗擾動(dòng)時(shí)可能會(huì)遇到欠擬合問(wèn)題。作者得到的最佳結(jié)果是使用對(duì)隱藏層的擾動(dòng)進(jìn)行訓(xùn)練，但是沒(méi)涉及到隱藏層的最后一層。

6. 不同類型的模型capacity

人們直覺(jué)上認(rèn)為capacity低的模型無(wú)法準(zhǔn)確預(yù)測(cè)，但并非如此，如RBF網(wǎng)絡(luò)：
$$p(y=1|x)=\exp ((x?\mu {)}^T\beta (x?\mu ))$$
只能準(zhǔn)確預(yù)測(cè)$\mu$附近$y=1$的類，RBF預(yù)測(cè)對(duì)抗樣本的置信度很低：作者選擇無(wú)隱藏層的淺層RBF對(duì)（MNIST上用FGSM生成的）對(duì)抗樣本進(jìn)行實(shí)驗(yàn)，錯(cuò)誤率為55.4%，置信度為1.2%，對(duì)干凈樣本的置信度為60.6%。這種低capacity的模型錯(cuò)誤率高是正常的，但它們通過(guò)在自己不"理解"的點(diǎn)上大大降低其置信度來(lái)做出正確的反應(yīng)。
RBF的泛化能力不好。可以將RBF網(wǎng)絡(luò)中的線性單元和RBF單元視為精確度-召回率（precision-recall）曲線上的不同點(diǎn)，線性單元召回率高，精確度低；RBF單元精確度高，召回率低。受這個(gè)想法的啟發(fā)，作者在下文對(duì)一些包含二階單元（quadratic units 如RBF單元中有二次項(xiàng)）的模型進(jìn)行探索。

7. 對(duì)抗樣本泛化的原因

圖4 簡(jiǎn)單訓(xùn)練的maxout網(wǎng)絡(luò)：左）在單個(gè)輸入樣本上改變$?$的值，觀察10個(gè)MNIST類中每個(gè)softmax層的參數(shù)（未歸一化的log概率）。正確的類是4。可以看到每個(gè)類別的概率與$?$呈分段線性，錯(cuò)誤的分類存在于$?$值的廣泛區(qū)域。右）用于生成左圖的輸入。左上為負(fù)數(shù)的$?$，右下為正值得$?$，黃框中的為正確分類的輸入。

1.對(duì)抗樣本特別多，且泛化能力強(qiáng)，同一對(duì)抗樣本會(huì)被不同模型錯(cuò)誤分類：線性的觀點(diǎn)是，對(duì)抗樣本出現(xiàn)在廣泛的子空間中。如圖4，通過(guò)追蹤$?$不同的值可以看到，對(duì)抗樣本出現(xiàn)在由FGSM定義的一維子空間的連續(xù)區(qū)域中，而不是特定的區(qū)域。
2.一個(gè)對(duì)抗樣本還會(huì)被不同的模型錯(cuò)誤分成同一類：這是因?yàn)闄C(jī)器學(xué)習(xí)算法的泛化性，在訓(xùn)練集的不同子集上訓(xùn)練時(shí)，模型能學(xué)到大致相同的權(quán)重，所以，分類權(quán)重的穩(wěn)定性返回來(lái)引起了對(duì)抗樣本的穩(wěn)定性。

8. 其他假設(shè)

作者反駁了兩個(gè)假設(shè)：
1.生成訓(xùn)練可以在訓(xùn)練過(guò)程中提供更多的約束或限制，或者使模型學(xué)習(xí)如何分辨 “real” 或 “fake” 的數(shù)據(jù)，并且只對(duì)"real"的數(shù)據(jù)更加自信。
2.單個(gè)模型有奇怪的行為特點(diǎn)（strange quirks），但對(duì)多個(gè)模型進(jìn)行平均（模型平均）可能會(huì)抵抗對(duì)抗樣本的干擾。

9. 論文總結(jié)

此篇論文提出了以下結(jié)論：

• 對(duì)抗樣本可以解釋為高維點(diǎn)積的一種特征屬性，它們的產(chǎn)生是由于模型過(guò)于線性化，而非過(guò)于非線性化。
• 對(duì)抗樣本在不同模型中的泛化可以解釋為對(duì)抗擾動(dòng)與模型的權(quán)重向量高度一致，且不同模型（當(dāng)執(zhí)行相同任務(wù)時(shí)，如手寫數(shù)字分類）在訓(xùn)練中學(xué)習(xí)的函數(shù)相同。
• 擾動(dòng)的方向是最重要的，而非空間中的特定點(diǎn)。對(duì)抗樣本廣泛存在于空間中。
• 對(duì)抗擾動(dòng)會(huì)泛化到不同的干凈樣本中。
• 提出了生成對(duì)抗樣本的方法——FGSM。
• 作者證明了對(duì)抗訓(xùn)練可以提供正則作用，甚至比dropout更強(qiáng)。
• 作者進(jìn)行了控制實(shí)驗(yàn)，但未能使用簡(jiǎn)單 效率低的正則化器來(lái)重現(xiàn)這種效果。
• 易于優(yōu)化的模型容易收到對(duì)抗樣本的干擾。
• 線性模型缺乏對(duì)對(duì)抗擾動(dòng)的抵抗能力，具有隱藏層結(jié)構(gòu)的模型才能通過(guò)對(duì)抗訓(xùn)練來(lái)抵抗它們。
• RBF網(wǎng)絡(luò)對(duì)對(duì)抗樣本有抵抗能力。
• 為輸入分布建模而訓(xùn)練的模型對(duì)對(duì)抗樣本沒(méi)有抵抗能力。
• 集成對(duì)對(duì)抗樣本沒(méi)有抵抗能力。

總結(jié)

以上是生活随笔為你收集整理的【论文笔记】（FGSM公式推导）Explaining and Harnessing Adversarial Examples的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。