Universal adversarial perturbations(通用對抗擾動)

原文鏈接 https://www.researchgate.net/publication/309460742_Universal_adversarial_perturbations

摘要

考慮到一個頂尖的深度神經(jīng)網(wǎng)絡(luò)分類器，我們展示了一個通用（圖像不可知）和非常小的擾動向量的存在，它會英氣自然的圖片，以一個很高的置信度被誤分類。我們提出了一個系統(tǒng)的算法來計算通用擾動，來展示頂尖的深度神經(jīng)網(wǎng)絡(luò)對于這類擾動的高度的脆弱性，然而對人眼具有不可察覺性。我們進(jìn)一步實(shí)驗(yàn)分析了這些通用擾動并且顯示，特別的，他們在神經(jīng)網(wǎng)絡(luò)上泛化的非常的好。通用擾動的存在揭示了分類器高維決策邊界之間的重要幾何相關(guān)性。進(jìn)一步強(qiáng)調(diào)了安全威脅，輸入空間上的單一方向，攻擊者可以容易的暴露類攻擊在多數(shù)的自然圖片上的分類器¹。

1. 介紹

我們能夠找到一個單一的小的圖片擾動，可以在所有的自然圖片上，欺騙一個頂尖的深度神經(jīng)網(wǎng)絡(luò)分類器？我們在這篇文章中顯示了這樣的一個不可察覺的通用擾動向量的存在，這個擾動向量導(dǎo)致了自然的圖片以一個很高的概率被誤分類。特別的，通過添加這樣的一個不可察覺的擾動到自然圖片上，深度神經(jīng)網(wǎng)絡(luò)評估的標(biāo)簽以很高的置信度被改變了（見圖1）。這個擾動稱為通用，因?yàn)樗麄兪菆D像不可知。這些擾動的存在是一個問題，當(dāng)分類器被部署到真實(shí)的世界（可能是敵對）的環(huán)境，因?yàn)樗麄儽槐┞督o了攻擊者類破壞分類器。實(shí)際上，擾動過程涉及到，僅僅添加一個非常小的擾動到所有的自然圖片，并且可以被攻擊則在真實(shí)世界的環(huán)境中相對直接的實(shí)現(xiàn)，然而卻相對困難來檢測，因?yàn)檫@樣的擾動非常的小，并且并沒有顯著的影響數(shù)據(jù)分布。通用對抗擾動的存在進(jìn)一步揭示了關(guān)于深層神經(jīng)網(wǎng)絡(luò)決策邊界拓?fù)浣Y(jié)構(gòu)的新見解。我們總結(jié)了這篇文章的主要的貢獻(xiàn)，如下：

• 我們顯示了對于頂尖的深度神經(jīng)網(wǎng)絡(luò)，通用圖片不可知的擾動的存在。
• 我們提出了一個算法來尋找這樣的擾動，這個算法在一系列的訓(xùn)練點(diǎn)上尋找一個通用的擾動，通過累加原子擾動向量進(jìn)行，發(fā)生相繼的數(shù)據(jù)點(diǎn)到分類器的決策邊界。
• 我們展示了通用擾動有一個顯著的泛化屬性，來自一個相當(dāng)小的訓(xùn)練數(shù)據(jù)點(diǎn)的擾動可以以一個很高的置信度欺騙新的圖片
• 我們展示了這樣的擾動不只是在圖片上通用，也在深度神經(jīng)網(wǎng)絡(luò)上泛化。這樣的擾動因此被稱為通用，同時相對于數(shù)據(jù)和網(wǎng)絡(luò)架構(gòu)
• 我們解釋和分析了深度神經(jīng)網(wǎng)絡(luò)對于通用擾動的高度脆弱性，通過檢查決策邊界不同部分的幾何相關(guān)性。

圖片分類器的魯棒性對于結(jié)構(gòu)化和非結(jié)構(gòu)化擾動，最近吸引了許多的關(guān)注。結(jié)果深度神經(jīng)網(wǎng)絡(luò)架構(gòu)在挑戰(zhàn)性的視覺分類基準(zhǔn)上的令人印象深刻的表現(xiàn)，這些分類器被證明對于擾動具有高度的脆弱性。在19，這樣的網(wǎng)絡(luò)被證明對于小的和經(jīng)常不可察覺的添加了對抗擾動，具有不穩(wěn)定性。這種小心構(gòu)造的擾動，或者通過解決一個優(yōu)化問題，或者通過單步的梯度上升。產(chǎn)生一個擾動來欺騙一個特定的數(shù)據(jù)點(diǎn)。這些對抗擾動的一個有趣的特點(diǎn)是他們對于數(shù)據(jù)點(diǎn)的內(nèi)在的依賴性：擾動被特別的構(gòu)造對于每個數(shù)據(jù)點(diǎn)。結(jié)果是，計算一個對于一個新的數(shù)據(jù)點(diǎn)計算一個對抗擾動需要從頭解決一個數(shù)據(jù)以來的優(yōu)化問題。這和這篇文章提到的通用擾動不同，我們尋找一個單個擾動向量來欺騙網(wǎng)絡(luò)在大多數(shù)的自然圖片。擾動一個新的數(shù)據(jù)點(diǎn)，之后只需要涉及添加通用擾動到這個圖片上（不需要解決一個優(yōu)化問題或者梯度計算）。最后，我們強(qiáng)調(diào)了我們的通用擾動的概念不同于19所研究的生成對抗擾動，在MNIST任務(wù)上計算的擾動哦，被證明可以很好的泛化到其他的模型。確實(shí)，我們檢查了通用樣本的存在，對于大多數(shù)屬于數(shù)據(jù)分布的數(shù)據(jù)點(diǎn)是常見的。

圖1:當(dāng)添加到一個自然圖片，一個通用擾動的圖片引起圖片被深度神經(jīng)網(wǎng)絡(luò)以很高的置信度被誤分類。左圖：原始自然圖片。標(biāo)簽在每一個箭頭的頂部顯示。中圖：通用擾動。右圖：擾動圖片。評估標(biāo)簽在每一個箭頭的頂部顯示。

2. 通用擾動

在這個部分，我們形式化通用擾動的概念，并且提出一個方法來評估這類擾動。設(shè)$\mu$為圖片在${\mathbb{R}}^d$上的分布，$\hat{k}$為一個分類函數(shù)對于每個圖片$x\in {\mathbb{R}}^d$等評估標(biāo)簽$\hat{k}(x)$.這篇文章的主要關(guān)注點(diǎn)在于尋找擾動向量$v\in {\mathbb{R}}^d$，來欺騙分類器$\hat{k}$，在從$\mu$抽樣的大多數(shù)的所有數(shù)據(jù)點(diǎn)。也就是，我們虛招一個向量$v$滿足
$$\hat{k}(x+v)=\hat{k}(x)for"most"x～\mu$$
我們將這樣的一個擾動為通用，因?yàn)樗硎玖艘粋€固定的圖像不可知擾動，可以引起標(biāo)簽的改變，對于大多數(shù)從數(shù)據(jù)分布$\mu$中抽樣的圖片。我們在這里關(guān)注數(shù)據(jù)分布$\mu$表示自然圖片的集合，因此包含一個巨大的可變性。在這個背景下，我們檢查了小的通用擾動（以$L_p$范數(shù)$p\in [1,\infty ]$），可以誤分類大多數(shù)的圖片。因此，目標(biāo)是找到$v$滿足下面的兩個約束：
$$\begin{array}{rl}1.& \Vert v{\Vert }_p\le \xi \\ 2.& \underset{x～\mu }{P}(\hat{k}(x+v)=\hat{x})\ge 1?\delta \end{array}$$
參數(shù)$\xi$控制擾動向量$v$的規(guī)模，$\delta$量化希望欺騙的比率，對于來自分布$\mu$抽樣的圖片。

算法. 設(shè)$X=\{x_1,?,x_m\}$是來自分布$\mu$抽樣的圖片。我們所提出的算法尋找一個通用擾動$\mu$，滿足$\Vert v{\Vert }_p\le \xi$，并且欺騙大多數(shù)的在$X$中的數(shù)據(jù)點(diǎn)，該算法在數(shù)據(jù)點(diǎn)$X$上進(jìn)行迭代，逐漸的建立通用擾動，如圖2所示。在每次的迭代中，最小的擾動$\Delta v_i$，發(fā)送當(dāng)前的擾動點(diǎn)，$x_i+v$，到分類器的決策邊界，被計算，并且累加到當(dāng)前的通用擾動實(shí)例。更多的細(xì)節(jié)，提供當(dāng)前的通用擾動$v$不能欺騙數(shù)據(jù)點(diǎn)$x_i$，我們尋找額外的$\Delta v_i$具有最小的范數(shù)，來允許欺騙數(shù)據(jù)點(diǎn)$x_i$，通過解決如下的優(yōu)化問題：
$$\Delta v_i\leftarrow \underset{r}{\mathrm{argmin}}\Vert r{\Vert }_{2}s.t.\hat{k}(x_i+v+r)=\widehat{x_i}\text{\hspace{1em}(1)}$$
圖2:示意圖代表所提出的算法用來計算通用擾動。這這幅圖中，數(shù)據(jù)點(diǎn)$x_1,x_2,x_3$是強(qiáng)加的，分類區(qū)域${\mathcal{R}}_i$(例如，常量評估標(biāo)簽)以不同的顏色顯示。我們的算法通過累加順序最小擾動，將當(dāng)前的擾動點(diǎn)$x_i+v$，發(fā)送到相應(yīng)的決策區(qū)域外面。

為了確保限制$\Vert v{\Vert }_p\le \xi$滿足，通用擾動的更新進(jìn)一步投影到$L_p$，半徑$\xi$，中心點(diǎn)在0.也就是，讓$P_{p,\xi }$為投影操作，定義如下：
$$P_{p,\xi }(v)=\underset{v^{\prime }}{\mathrm{argmin}}\Vert v?v^{\prime }{\Vert }_{2}subjectto\Vert v\prime {\Vert }_p\le \xi$$
然后，我們的更新規(guī)則為，$v\leftarrow P_{p,\xi }(v+\Delta v_i)$,幾個傳給數(shù)據(jù)集$X$，來改善通用擾動的質(zhì)量。當(dāng)經(jīng)驗(yàn)“欺騙率”在數(shù)據(jù)集$X_v:=\{x_1+v,?,x_m+v\}$超過了目標(biāo)閾值$1?\delta$，算法終止。也就是，我們停止我們的算法當(dāng)：
$$Err(X_v):=\frac{1}{m}\sum _{i=1}^m{1}_{\hat{k}(x_i+v)=\widehat{xi}}\ge 1?\delta$$
算法細(xì)節(jié)在算法1.有趣的事，實(shí)踐中，數(shù)據(jù)點(diǎn)$X$的個數(shù)$m$不需要足夠的大來計算一個通用的擾動，對整個分布$\mu$都有效。特別的，我們設(shè)置$m$比訓(xùn)練點(diǎn)的數(shù)據(jù)量小（見部分3）

所提出的算法涉及公式1的$m$實(shí)例，對于每個類別。雖然優(yōu)化問題不是凸的，當(dāng)$\hat{k}$不是一個標(biāo)準(zhǔn)的分類器（例如，一個深度神經(jīng)網(wǎng)絡(luò)），幾個有效的估計方法應(yīng)已經(jīng)設(shè)計來解決這個問題。為了它的有效性，我們使用如下的步驟。值得注意的是，算法1的目標(biāo)不是尋找一個最小的通用擾動，來欺騙大多數(shù)的數(shù)據(jù)點(diǎn)，來自分布的抽樣，而是尋找一個擾動有充分小的范數(shù)。特別的，不同的隨機(jī)洗牌對于數(shù)據(jù)集$X$自然的導(dǎo)致了一個多樣性的通用擾動$v$集合，滿足需要的限制。提出的算法一次可以被利用來生成多個通用擾動對于一個深度神經(jīng)網(wǎng)絡(luò)（見下一個部分，看可視化樣本）

3. 對于深度網(wǎng)絡(luò)的通用擾動

我們現(xiàn)在分析了頂尖的深度神經(jīng)網(wǎng)絡(luò)分類器對于通用擾動的魯棒性，使用算法1

在第一個實(shí)驗(yàn)中，我們接觸了評估的通用擾動對于不同的最近的深度神經(jīng)網(wǎng)絡(luò)在ILSVRC 2012驗(yàn)證集(50000張圖片)，并且報告了欺騙比率，也就是圖片標(biāo)簽被改變的比率，當(dāng)使用我們的通用擾動擾動的時候。結(jié)果報告，$p=2$和$p=\infty$。相應(yīng)的設(shè)置$\xi =2000$和$\xi =10$.這些數(shù)字值被選擇，為了獲得一個擾動，范數(shù)比圖片的范數(shù)明顯的小，以至于這個擾動是不可見的，當(dāng)添加到自然的圖片上²。結(jié)果在表1.每一個結(jié)果都是在數(shù)據(jù)集$X$上，用來計算擾動，也在驗(yàn)證集上（沒有使用在通用擾動的計算過程上）。觀察所有之前的工作，通用擾動獲得了非常高的欺騙率在驗(yàn)證集上。特別的，用CaffeNet和VGG-F就散的通用擾動欺騙了超過90%的驗(yàn)證集(對于$p=\infty$。換句話說，對于驗(yàn)證集上的任何自然圖片，僅添加我們的通用擾動欺騙了9/10的分類器。結(jié)果不僅精是這類架構(gòu)，我們也可以發(fā)現(xiàn)通用擾動引起了VGG，GoogleNet和ResNet分類器在自然的圖片上，以大約80%的邊緣被分類錯誤。這個結(jié)果有驚喜的成分，因?yàn)樗麄冋故玖藛蝹€通用擾動向量的存在性，可以引起自燃圖片以很高的概率被分類錯誤，同時對于人類具有不可察覺行。為了驗(yàn)證后面的申明，我們在圖3顯示了可視化的擾動圖片的樣本，這里GoogLeNet結(jié)構(gòu)被使用。這些圖片或者是來自ILSVRC 2012驗(yàn)證集上，或者是使用一個移動手機(jī)攝像頭拍攝的。可以觀察到在大多數(shù)的情況下，通用擾動具有不可察覺行，這個強(qiáng)有力的圖像不可知擾動能夠以很高的置信度誤分類任何的圖片，對于頂尖的分類器。我們參考原始（未受干擾的）圖像的補(bǔ)充材料，以及它們的真實(shí)的標(biāo)簽。我們也參考了視頻，在一個補(bǔ)充材料對于真實(shí)世界樣本，在一個智能手機(jī)上。在圖4，我們可視化了通用擾動對應(yīng)于不同的網(wǎng)絡(luò)。值得注意的是這類的通用擾動不是獨(dú)特的，因?yàn)樵S多的不同的通用擾動（所有滿足兩個要求的約束）對于同樣的網(wǎng)絡(luò)可以被生成。在圖5，我們可視化了5個不同的通用擾動，使用不同的隨洗牌的數(shù)據(jù)集$X$,獲得的。可以觀察到，這類的擾動是不同的，盡管他們展示了相似的模式。此外可以確認(rèn)，計算正規(guī)化的內(nèi)層的乘積，在兩對擾動圖片，因?yàn)檎?guī)化的內(nèi)積不會超過0.1，這個表明了可以找到多樣的通用擾動。

CaffeNetVGG-FVGG-16VGG-19GoogLeNetResNet-152

$L_2$	X	85.4%	85.9%	90.7%	86.9%	82.9%	89.7%
	Val.	85.6%	87.0%	90.3%	84.5%	82.0%	88.5%
$L_{\infty }$	X	93.1%	93.8%	78.5%	77.8%	80.8%	85.4%
	Val.	93.3%	93.7%	78.3%	77.8%	78.9%	84.0%

表1: 在數(shù)據(jù)集$X$和驗(yàn)證集上的欺騙率

圖3: 擾動圖片和他們對應(yīng)的標(biāo)簽的樣本。前8張圖片屬于ILSVRC 2012驗(yàn)證集，后面4張圖片是用一個移動手機(jī)攝像頭拍攝的，見補(bǔ)充菜量對于原始的圖片。

圖4: 對于不同的深度神經(jīng)網(wǎng)絡(luò)架構(gòu)的通用擾動，生成的圖片使用$p=\infty ,\xi =10$，為了可視化像素值被縮放了。

圖5: 對于GoogLeNet架構(gòu)的多樣的通用擾動。這五個擾動使用了一個隨機(jī)的洗牌在數(shù)據(jù)集$X$上。注意，標(biāo)準(zhǔn)化內(nèi)積對于任何的一對通用擾動不會超過0.1，這強(qiáng)調(diào)了這類擾動的多樣性。

上面的通用擾動是在一個數(shù)據(jù)集$X$上計算的，這個數(shù)據(jù)集來自10000張訓(xùn)練集的圖片（例如，平均每類別10張），我們現(xiàn)在檢查數(shù)據(jù)集$X$大小的影響，對于通用擾動的質(zhì)量。如圖6所示，在驗(yàn)證集上獲得的對于不同大小的$X$對于GoogLeNet的欺騙率。注意到，對于包含了只有500張圖片的一個數(shù)據(jù)集$X$，我們可以在驗(yàn)證集上欺騙30%的圖片。當(dāng)與類別的數(shù)量在ImageNet（1000）上比較時，結(jié)果更加的顯著，它顯示了我們可以欺騙一個大的沒有見過的圖片數(shù)據(jù)集，甚至當(dāng)使用每個類別少于一張圖片的數(shù)據(jù)集$X$.使用算法1計算出的通用擾動，因此有一個顯著的泛化能力在沒有見過的數(shù)據(jù)點(diǎn)上，可以在一個非常小的訓(xùn)練圖片的數(shù)據(jù)集上計算出來。

圖6:每個大小的$X$在驗(yàn)證集上的欺騙率。注意即使在一個非常小的數(shù)據(jù)集$X$（相比于訓(xùn)練集和驗(yàn)證集）計算出來的擾動，在驗(yàn)證集上欺騙率是非常大的。

跨模型通用性. 雖然計算出來的通用擾動個對于沒有見過的數(shù)據(jù)點(diǎn)是通用的，我們現(xiàn)在檢查他們的跨模型通用性。也就是，我們研究了針對一個特殊的架構(gòu)（例如，VGG-19）計算出來的通用擾動，對于另一個架構(gòu)（例如：GoogLeNet）的有效程度。表2顯示了一個矩陣總結(jié)了這類的擾動在6個不同的架構(gòu)之間的通用性。對一個每個架構(gòu)，我們計算了一個通用擾動并且正對所有的其他架構(gòu)給出了欺騙率，我們在表2報告了這些在行上。可以觀察到，對于一些架構(gòu)，通用擾動可以非常好的泛化到其他的架構(gòu)。例如：用VGG-19網(wǎng)絡(luò)計算出來的通用擾動在其他所有測試的架構(gòu)上有一個超過53%的欺騙率。這個結(jié)果顯示了我們的通用擾動在某種程度上，雙重通用，應(yīng)為他們在數(shù)據(jù)點(diǎn)和非常不同的架構(gòu)之間的泛化性。值注意的是，在19，對抗擾動之前被展示的泛化的非常的好，在某種程度上，跨不同的神經(jīng)網(wǎng)絡(luò)，在MNIST問題行。然而，我們的結(jié)果是不同的，因?yàn)槲覀冋故玖嗽贗mageNet數(shù)據(jù)集上的不同的架構(gòu)的通用擾動的泛化性。結(jié)果實(shí)現(xiàn)了這類的擾動具有實(shí)際意義，因?yàn)樗麄冊诳鋽?shù)據(jù)點(diǎn)和架構(gòu)泛化。特別的，為了欺騙一個新的圖片在未知的網(wǎng)絡(luò)上，一個簡單的額添加一個通用擾動，在VGG-19上計算出來的，很有可能誤分類數(shù)據(jù)點(diǎn)。

VGG-FCaffeNetGoogLeNetVGG-16VGG-19ResNet-152

VGG-F	93.7%	71.8%	48.4%	42.1%	42.1%	47.4%
CaffeNet	74.0%	93.3%	47.7%	39.9%	39.9%	48.0%
GoogLeNet	46.2%	43.8%	78.9%	39.2%	39.8%	45.5%
VGG-16	63.4%	55.8%	56.5%	78.3%	73.1%	63.4%
VGG-19	64.0%	57.2%	53.6%	73.5%	77.8%	58.0%
ResNet-152	46.3%	46.3%	50.5%	47.0%	45.5%	84.0%

表2:通用擾動在不同網(wǎng)絡(luò)之間的泛化性能。百分比表示了欺騙率。行表示架構(gòu)用來計算通用擾動，列表示給出的架構(gòu)的欺騙率。

通用擾動效果可視化. 為了深入了解通用擾動的影響在自然圖片上，我們現(xiàn)在可視化在ImageNet驗(yàn)證集上標(biāo)簽的分布。特別的，我們建立了一個有向圖$G=(V,E)$，頂點(diǎn)表示標(biāo)簽，有向邊$e=(i\to j)$表示了類別$i$表示的圖片中的大多數(shù)被欺騙為標(biāo)簽$j$，當(dāng)運(yùn)用通用擾動。邊的存在$i\to j$因此表明了優(yōu)先欺騙的標(biāo)簽對于圖片類別$i$是$j$.我們構(gòu)建了這個圖針對GoogLetNet，并且由于空間限制在補(bǔ)充部分可視化了整個圖，圖的可視化顯示了一個非常的拓?fù)浣Y(jié)構(gòu)。特別的，圖是不相交分量的并集，所欲的邊在一個分量中幾乎連接到了一個目標(biāo)標(biāo)簽。見圖7，兩個連接分量的證明。這個可視化清晰的證明了幾個主導(dǎo)類別的存在性，通用擾動幾乎是的自然圖片被分類到這個類別。我們假設(shè)這些主導(dǎo)標(biāo)簽在圖片的空間上占據(jù)了很大的區(qū)域，因此代表了一個好的候選標(biāo)簽，對于欺騙的大多數(shù)的圖片。注意到，這些主導(dǎo)的標(biāo)簽是通過算法1自動的發(fā)現(xiàn)的，在計算擾動時不需要先驗(yàn)地施加。

圖7:兩個連通分量的圖$G=(V,E)$，頂點(diǎn)時標(biāo)簽集合，有向邊$i\to j$表示類別$i$中大多數(shù)的圖片被欺騙為類別$j$。

通用擾動的微調(diào). 我們現(xiàn)在檢查是使用擾動圖片微調(diào)網(wǎng)路的效果。我們使用VGG-F架構(gòu)，基于一個修改的訓(xùn)練集來微調(diào)這個網(wǎng)絡(luò)，通用的擾動被添加到這個干凈的訓(xùn)練集樣本中：對于每個訓(xùn)練數(shù)據(jù)點(diǎn)，一個通用的擾動，有0.5的可能性添加，原始圖片有0.5的可能性保留³.為了考慮通用擾動的多樣性，我們預(yù)先計算了一個池子，10個不同的通用擾動，并且隨機(jī)的從這個池中添加擾動到訓(xùn)練樣本。網(wǎng)絡(luò)通過5個額外的輪次在修改的訓(xùn)練集上訓(xùn)練，進(jìn)行微調(diào)。為了評估微調(diào)在網(wǎng)絡(luò)魯棒性上的影響，我們計算了一個新的通用擾動，對于微調(diào)的網(wǎng)絡(luò)（使用算法1，$p=\infty ,\xi =10$），給出了網(wǎng)絡(luò)的欺騙率。在5個額外的輪次后，在驗(yàn)證集上的欺騙率為76.2%，與原來的網(wǎng)絡(luò)（93.7%，見表1）有一個改善⁴。除了改善，微調(diào)的網(wǎng)絡(luò)依然對于小的通用擾動具有脆弱性。因此我們重復(fù)上面的步驟（例如，計算10個通用擾動的池子，對于微調(diào)的網(wǎng)絡(luò)，基于修改的訓(xùn)練集上5個額外輪次修改的新網(wǎng)絡(luò)的微調(diào)），我們獲得了一個新的欺騙率80.0%。一般的，這個步驟的重復(fù)，固定的次數(shù)，沒有產(chǎn)生任何的改善，超過76.2%的欺騙率，經(jīng)過一步微調(diào)獲得的。因此，雖然，微調(diào)網(wǎng)絡(luò)導(dǎo)致了輕微的魯棒性的改善，我們觀察到簡單的解決方法不能完全的免疫小的擾動。

4. 對于通用擾動的脆弱性的解釋

這個部分的目標(biāo)是分析并且解釋深度神經(jīng)網(wǎng)絡(luò)分類器對于通用擾動的高度的脆弱性。為了理解獨(dú)特的通用擾動的特性，我們首先比較了這類的擾動和其他類型的擾動，命名為i）隨機(jī)擾動，ii)對抗擾動使用一個隨機(jī)采樣（使用DF和FGS方法，在[11]和[5]）,iii) 在數(shù)據(jù)集$X$上的對抗擾動的總和，iv)圖片的平均值(或者ImageNet 偏差)。對于每個擾動，我們繪制了相變圖在圖8，展示了在驗(yàn)證集上$L_2$范數(shù)的欺騙率，不同的擾動范數(shù)通過縮放每個擾動和一個乘法因子，來獲得目標(biāo)范數(shù)，注意到通用擾動，使用$\xi =2000$,也相應(yīng)的縮放。

圖8: 不同擾動的欺騙率的比較，在Caffenet架構(gòu)上實(shí)施的實(shí)驗(yàn)。

可以觀察到，所提出的通用擾動可以快速的達(dá)到一個非常高的欺騙率，即使當(dāng)擾動被限制在非常小的范數(shù)下。例如，使用算法1計算的通用擾動達(dá)到了一個85%的欺騙率，$L_2$范數(shù)受限到$\xi =2000$,而其他擾動對可比范數(shù)的影響要小得多。特別的，隨機(jī)向量沖半徑2000的球中標(biāo)準(zhǔn)分布采樣，只欺騙了驗(yàn)證集上的10%。通用和隨機(jī)擾動的不同，表明了通用擾動探索了幾何相關(guān)性，在分類器決策邊界的不同部分。事實(shí)上，如果決策邊界的方向在鄰近的不同的數(shù)據(jù)點(diǎn)，是完全不相關(guān)的（對于決策邊界的距離的獨(dú)立性），最好通用擾動范數(shù)與隨機(jī)擾動比較。注意到，后者的量是好理解的（見4），因?yàn)殡S機(jī)擾動的范數(shù)需要精確欺騙一個特殊數(shù)據(jù)點(diǎn)，行為$\Theta (\sqrt{d}\Vert r{\Vert }_2)$，$d$是輸入空間的維度，$\Vert r{\Vert }_2$是數(shù)據(jù)點(diǎn)和決策邊界之間的距離（相等的，最小對抗擾動的范數(shù)）。對于考慮的ImageNet分類任務(wù)，這個量等于$\sqrt{d}\Vert r{\Vert }_2\approx 2\times 10^4$，對于大多數(shù)的數(shù)據(jù)點(diǎn)，比通用擾動（$\xi =2000$）至少大一個數(shù)量級。隨機(jī)和通用擾動的本質(zhì)的不同，表明了，我們所探索的幾何決策邊界的冗余。

對于驗(yàn)證集上每一張圖片$x$，我們計算了對抗擾動向量$r(x)=\underset{r}{\mathrm{argmin}}\Vert r{\Vert }_{2}s.t.\hat{k}(x+r)=\widehat{(}k)(x)$.很容易看到$r(x)$是分類器決策邊界在$x+r(x)$的范數(shù)。向量$r(x)$因此不活了決策邊界在數(shù)據(jù)點(diǎn)$x$周圍的局部幾何。為了量化分類器決策邊界不同區(qū)域的相關(guān)性，我們定義了如下的矩陣。
$$N=\left[\begin{array}{c}\frac{r(x_1)}{\Vert r(x_1){\Vert }_2},?,\frac{r(x_1)}{\Vert r(x_1){\Vert }_2}\end{array}\right]$$
在驗(yàn)證集$n$個數(shù)據(jù)點(diǎn)附近的決策邊界的范數(shù)向量。對于二分類器，決策邊界是超平面，$N$的秩為1，因?yàn)樗械姆稊?shù)向量是共線的。為了捕捉更多的一般性的分在分類器的決策邊界的相關(guān)性，我們計算了矩陣$N$的奇異值，圖9顯示了CaffeNet架構(gòu)的矩陣$N$的奇異值。我們進(jìn)一步在同一個圖片上，顯示了通過在單位球衫隨機(jī)的標(biāo)準(zhǔn)采樣的$N$的列，獲取的奇異值。可以觀察到，后者的奇異值有一個緩慢的下降，$N$的奇異值下降的很快，這確認(rèn)了深度網(wǎng)絡(luò)在決策邊界上的大的相關(guān)性和冗余。更為精確，這表明了了一個子空間$S$，維度$d\prime (d\prime ?d)$，限制了大多數(shù)的范數(shù)向量到自然圖片的周圍區(qū)域的決策邊界。我們假設(shè)通用擾動的存在欺騙了許多自然圖片，主要是因?yàn)檫@樣的一個低維子空間的存在，這個空間捕捉了決策邊界不同區(qū)域的相關(guān)性。實(shí)際上，這個子空間"搜集"范數(shù)到不同區(qū)域的決策邊界，屬于這個子空間的擾動因此很有可能欺騙數(shù)據(jù)點(diǎn)。為了驗(yàn)證這個假設(shè)，我們選擇了一個隨機(jī)向量，范數(shù)$\xi =2000$，屬于空間$S$,由前100個奇異向量構(gòu)成，并且計算它的欺騙率在不同的圖片數(shù)據(jù)集（例如，一個圖片數(shù)據(jù)集，還沒有被使用計算SVD），這類的擾動可以欺騙將近38%的這些圖片，因此表明了廣尋子空間$S$的隨機(jī)方向，明顯優(yōu)于隨機(jī)擾動（這類的擾動只能欺騙10%的數(shù)據(jù)）。圖10證明了子空間$S$捕捉到的決策邊界的相關(guān)性。值得進(jìn)一步注意的是，低維子空間的存在解釋了圖6獲得的通用擾動的驚人的泛化性質(zhì)，用非常少的圖片建立一個相對泛化的通用擾動。

圖9: 矩陣$N$的奇異值，包含了決策邊界的范數(shù)向量

圖10: 低緯子空間$S$包含的在自然圖片區(qū)域周圍的決策邊界的范數(shù)向量的證明。為了證明，我們強(qiáng)加了3個數(shù)據(jù)點(diǎn)$\{x_i{\}}_{i=1}^3$,對抗擾動是$\{r_i{\}}_{i=1}^3$，將相應(yīng)的點(diǎn)送到?jīng)Q策邊界$\{{\mathcal{R}}_i{\}}_{i=1}^3$，顯示了。注意$\{r_i{\}}_{i=1}^3$在子空間$S$

不像上面的實(shí)驗(yàn)，所提出的算法不需要選擇一個子空間的隨機(jī)向量，而是選擇一個指定的方向，來最大化總體的欺騙率。這解釋了使用隨機(jī)向量策略在子空間$S$獲得的欺騙率和算法1的差距。

5. 總結(jié)

我們顯示了小的通用擾動的存在，這些擾動可以在自然的圖片上欺騙頂尖的分類器。我們提出了一個迭代算法類生成統(tǒng)一擾動，并且強(qiáng)調(diào)了幾個這類擾動的屬性。特別的，我們顯示了通用擾動可以在不同的分類模型之間泛化，導(dǎo)致了雙重的通用（圖像不可知，網(wǎng)絡(luò)不可知）。我們進(jìn)一步解釋了這類擾動的存在，在決策邊界的不同區(qū)域的相關(guān)性。這提供了思考關(guān)于深度網(wǎng)絡(luò)決策邊界的幾何學(xué)，有利于更好的理解這類系統(tǒng)。理論分析了決策邊界不同部分的幾何相關(guān)性，將會是未來研究的主題。

致謝

我們非常感謝NVIDIA公司的支持，為了這個研究捐助了Tesla K40 GPU的使用。

A. 附錄

圖11. 顯示了原始圖片和相對應(yīng)的實(shí)驗(yàn)的圖片3，圖片12，可視化圖，顯示了原始和擾動的標(biāo)簽的關(guān)系（更多細(xì)節(jié)見部分3）

圖11: 原始圖片。前兩行是隨機(jī)從驗(yàn)證集選擇的圖片，最后一行是個人從移動手機(jī)攝像頭拍攝的圖片

圖12: 表示了原始和擾動的標(biāo)簽之間關(guān)系的圖。注意到“主流標(biāo)簽”系統(tǒng)的出現(xiàn)。為了可讀性可以放大。為了可讀性孤立的點(diǎn)被去除了。

---

在一個智能手機(jī)手機(jī)上證明通用擾動的效果，可以點(diǎn)擊這里 ??

為了比較，一張圖片的平均$L_2$和$L_{\infty }$被設(shè)置為相應(yīng)的$\approx 5\times 10^4$和$\approx 250$ ??

在微調(diào)的實(shí)驗(yàn)中，我們使用了一個輕微的修改概念的通用擾動，擾動向量$v$的方向?qū)τ谒械臄?shù)據(jù)點(diǎn)是固定的，規(guī)模是適應(yīng)的。也就是，對于每個數(shù)據(jù)點(diǎn)$x$，我們考慮擾動點(diǎn)$x+\alpha v$，$\alpha$是一個最小的系數(shù)，可以欺騙分類器。我們觀察到這個反饋策略比起簡單的將通用擾動添加到所有的訓(xùn)練點(diǎn)上的策略不太容易過擬合。 ??

微調(diào)的過程更多的是導(dǎo)致一個少數(shù)的在驗(yàn)證集上錯誤率的上升，這可能是由于擾動數(shù)據(jù)的一個輕微的過擬合。 ??

總結(jié)

以上是生活随笔為你收集整理的Universal adversarial perturbations(翻译，侵删)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。