復合對抗攻擊

• • • • 1、 Abstract
      • 2、Introduction
      • 3、Preliminaries and Related work（準備工作和相關工作）
      • • Adversarial Attack
        • Automated Machine Learning
        • Composite Adversarial Attacks（復合對抗攻擊）
        • Problem formulation（問題描述）
        • Constraining lp-Norm by Re-projection（重投影約束lp范數）
        • Search Objective（搜索目標）
        • Search Space（搜索空間）
        • Search Strategy（搜索策略）
      • 4、Experiments
      • • Experiment Setup
      • 5、Ablations
      • 6、Conclusion

1、 Abstract

對抗性攻擊是一種欺騙機器學習模型的技術，它提供了一種評估對抗性魯棒性的方法。在實踐中，攻擊算法是由人類專家人工選擇和調整的，以破壞ML系統。然而，手動選擇攻擊者往往是次優的，導致對模型安全性的錯誤評估。本文提出了一種新的過程，稱為復合對抗攻擊（CAA），用于從32個基本攻擊者的候選池中自動搜索攻擊算法及其超參數的最佳組合。我們設計了一個搜索空間，將攻擊策略表示為一個攻擊序列，即前一個攻擊者的輸出作為后繼攻擊者的初始化輸入。采用多目標NSGA-II遺傳算法，以最小的復雜度尋找最強的攻擊策略。實驗結果表明，CAA在11種不同的防御方式下，以較短的時間（比自動攻擊快6倍）擊敗了10名頂級攻擊者，在$l_{\infty }$,$l_2$和無限制的對抗性攻擊。

2、Introduction

DNNs 容易受到對手攻擊，這種攻擊的目的是通過產生不易察覺的擾動樣本來愚弄訓練有素的模型。這種嚴重的安全隱患很快引起了機器學習界的廣泛關注。通過對對抗樣本的深入研究，提出了多種攻擊算法來驗證對抗的魯棒性。同時，一些開源工具箱，如Cleverhans1（Papernot et al.2016）、FoolBox2（Rauber、Brendel和Bethge 2017）或AdverTorch3（Ding、Wang和Jin2019）正在開發并集成大多數現有的攻擊算法。為方便快捷地攻擊模型提供了友好的用戶界面。

然而，即使開發了設計良好的工具箱，攻擊一個模型仍然需要大量的用戶體驗或手動調整攻擊的超參數，尤其是當我們無法了解目標模型的防御機制時。這種依賴于用戶的特性也使得對抗性攻擊的工具化變得困難。另一方面，手動選擇攻擊者有一定的傾向性和次優性。它可能會引起對模型安全性的錯誤評估，例如，眾所周知的錯誤安全感是梯度模糊，這會導致對基于梯度的攻擊的虛假防御。

為了實現更全面、更強的攻擊，我們首先提出了通過從一系列攻擊算法中搜索有效的攻擊策略來實現攻擊過程的自動化。我們將此過程命名為復合對抗攻擊（CAA）。為了說明CAA的關鍵思想，圖2中給出了一個示例。假設有兩種候選攻擊方式，即空間攻擊（Engstrom et al.2019）和FGSM攻擊（Goodfello，Shlens和Szegedy 2014），目標是選擇其中一種或多種來組成更強的攻擊策略。在圖2（b）中，最簡單的方法是選擇最佳的單個攻擊作為最終策略。然而，正如以前的工作（Tram`er和Boneh 2019）所示，單個攻擊者總是不夠強大和通用。一個更具潛力的解決方案（Croce和Hein 2020）是找到多個攻擊者，然后通過不斷選擇能夠成功欺騙模型的最佳輸出來集成它們（圖2（c））。集成攻擊雖然可以獲得較高的攻擊成功率，但只提供輸出級的聚合，沒有考慮不同攻擊機制之間的互補性。

在我們的復合對抗攻擊中，我們將攻擊策略定義為攻擊者的串行連接，其中前一個攻擊者的輸出作為后繼攻擊者的初始化輸入。在圖2（d）中，兩個攻擊者可以生成四種可能的排列。通過使用搜索算法來尋找最佳排列，我們證明了空間攻擊之后的FGSM攻擊可以獲得比它們的集合高26%的錯誤率。我們政策的好處在于兩個方面：1）通過引入身份攻擊（即無攻擊），我們的CAA可以表示任何單個攻擊。集合攻擊也可以用CAA的策略集合來表示。因此，CAA是更廣義的表述。2） 一個強大的攻擊可以通過漸進的步驟產生。以前的工作（Suya et al.2020）發現，在優化攻擊方面，一些接近決策邊界的起點比原始種子更好。類似地，在CAA中，我們使用前面的攻擊者創建一個距離原始種子足夠遠、距離邊界足夠近的樣本，以便后續的攻擊更容易找到一個更強的對手樣本。

具體地說，CAA是通過包含多個選擇和攻擊操作順序的搜索空間來實現的。對于每個攻擊操作，有兩個超參數，即幅值和迭代步長。我們采用NSGA-II遺傳算法（Deb等人，2002）來尋找能夠以最高的成功率突破目標模型但復雜度最小的最佳攻擊策略。大量實驗表明，CAA在兩個用例中取得了很好的改進：1）CAA可以直接應用于感興趣的目標模型上，以找到最佳攻擊策略（$CA{A}_{dic}$）；2）學習策略可以在不同的任務下保持較高的成功率轉移到攻擊多模型體系結構（$CA{A}_{sub}$）。我們評估了$CA{A}_{dic}$和$CA{A}_{sub}$最近提出的11項關于$l_{\infty }$, $l_2$和無限制設置。結果表明，我們的復合對抗攻擊在白盒場景中達到了最新的水平，大大降低了攻擊時間開銷。

3、Preliminaries and Related work（準備工作和相關工作）

Adversarial Attack

定義和概念 設$F:x\in [0,1{]}^D\to z\in R^K$是K類圖像分類器，其中$x$是$D$維圖像空間中的輸入圖像，$z$代表logits。假設$F$執行得很好，并且正確地將$x$分類為它的基本真值標簽$y$。對抗性攻擊的目的是找到一個在一定距離度量下接近原始$x$的對抗性樣本$x_{adv}$，但它會導致模型的錯誤分類：$F（x_{adv}）=y$。

常規對抗樣本 常規的對抗樣本具有有限的擾動幅度，這通常是通過在輸入$x$周圍的$?$半徑$l_p$球內限定擾動來實現的。它可以由$F(x_{adv})=y$受限于$||x_{adv}?x|{|}_p\le \lambda$。 快速梯度符號法（FGSM）是一種經典的$l_{\infty }$ 對抗式攻擊方法沿損失函數梯度方向對原始樣本$x$進行單步更新。使用基于動量的多步優化（Dong et al.2018）或擾動的隨機初始化（Madry et al.2017），FGSM有許多改進版本。基于$l_2$的攻擊，如DDNL2（Rony et al.2019）和C&W（Carlini and Wagner 2017）發現$x_{adv}$與原始樣本的$l_2$距離最小。基于$l_1$的攻擊者保證了擾動的稀疏性，例如EAD（Chen等人，2017）。然而，$l_1$攻擊在實際攻擊環境中并不常用。因此，本文沒有在$l_1$約束下實現CAA。

無限制對抗樣本 無限制對抗性樣本是一種新型的不受范數有界小擾動限制的對抗性樣本。在這種情況下，攻擊者可能會在不更改語義的情況下顯著更改輸入(Brown等人（2018）首先引入了無限制對抗樣本的概念，并提出了一個兩人無限制攻防比賽。最近，有許多工作旨在利用生成模型（Song et al.2018）或空間變換（Engstrom et al.2019）構建這種更強的無限制攻擊。在本文中，我們還使用最大的搜索空間（總共19次攻擊）。我們發現，即使應用非常簡單的基本攻擊者來形成搜索空間，我們的CAA搜索的策略在不受限制的設置下仍然產生令人驚訝的攻擊能力。

Automated Machine Learning

我們的方法受到AutoML及其子方向（如神經結構搜索（NAS）和超參數優化（HPO））的最新進展的啟發。在AutoML中，搜索算法用于自動選擇算法、特征預處理步驟和超參數。另一個類似的方向是AutoAugment（Cubuk et al.2018），它自動搜索改進的數據增強策略。這些自動化技術不僅使人們擺脫了算法繁瑣的過程微調的同時，也大大提高了學習系統的效果和效率。在本文中，我們采用了AutoML中的一些搜索技術，證明了搜索更好的算法和參數也有助于對抗性攻擊。

Composite Adversarial Attacks（復合對抗攻擊）

Problem formulation（問題描述）

假設我們有一個帶注釋的數據集$X，Y$和一組帶有一些未知超參數的攻擊算法。本文將每種攻擊算法看作一個操作$A:x\in [0,1{]}^D\to x_{adv}\in [0，1{]}^D$，將輸入$x$轉換為圖像空間上的對抗性$x_{adv}$。A在不同的攻擊設置下有不同的選擇。例如，在白盒對抗攻擊中，A直接優化輸入$x$周圍$?$半徑球內的擾動$\delta$，以使分類誤差最大化：

其中，$L$通常指交叉熵損失，$||.|{|}_p$表示$l_p$范數，并且$?$是$l_p$范數的界。$?$可以看作$A$的超參數。此外，還有許多其他攻擊設置，例如黑盒攻擊（Uesato et al.2018；Andrishchenko等人，2019年），無限制對抗性攻擊（Brown等人，2018年）。我們以統一的方式將它們表示為攻擊行動。

假設我們有一組基本攻擊操作，表示為$A$={$A_1，A_2\dots A_k$}，其中$k$是攻擊操作的總數。復合對抗攻擊的目標是通過搜索攻擊操作的最佳組合和每個操作的超參數，實現對抗攻擊過程的自動化，從而實現更一般、更強大的攻擊。在這項工作中，我們只考慮攻擊算法中兩個最常見的超參數：1）攻擊幅度$?$（也相當于擾動的最大$l_p$范數）和2）攻擊的優化步驟t。為了限制兩個超參數的搜索范圍，給出了兩個區間：$?$∈ [0，${?}_{max}$]和t∈ [0，$t_{max}$]，其中${?}_{max}$和$t_{max}$是用戶預定義的每次攻擊的最大幅度和迭代次數。在本文中，我們不搜索攻擊步長，因為它與優化步長t有關。相反，所有需要步長參數（如PGD）的攻擊都會根據以前的方法修改為無步長版本（Croce和Hein 2020）。因此，可以基于優化步長自適應地改變步長。然后我們可以將策略定義為各種攻擊的組合，由N個連續的攻擊操作組成：

其中 {$A_n^s\in A|n=1,...,N$}是從單獨的攻擊中采樣的攻擊者，{{${?}_{sn}$, $t_{sn}$} | $n=1,...,N$}是每個攻擊的超參數。結合不同的攻擊操作和超參數，我們可以得到上千種可能的策略。

Constraining lp-Norm by Re-projection（重投影約束lp范數）

式2中給出的攻擊策略是一種一般形式，對全局擾動沒有約束。當攻擊序列變長時，每個攻擊算法的計算擾動會累積，導致對原始輸入的最終擾動變大。為了解決這個問題，我們在兩個連續的攻擊算法之間插入一個重投影模塊。在圖3中，重投影模塊首先確定先前攻擊者上累積的$?$是否大于策略的${?}_{global}$。如果是，則對累積擾動進行剪裁或重新縮放，使$l_p$范數在${?}_{global}$中有界。通過這種修改，我們可以對任何$l_p$范數條件使用復合對抗攻擊。

Search Objective（搜索目標）

搜索對象以往的工作通常以攻擊成功率（ASR）或魯棒精度（RA）作為目標來設計算法。然而，這些目標可以以花費更多的時間為代價來實現。例如，最近提出的工程（Gowal等人，2019年；Tashiro 2020）使用隨機重啟或多目標等技巧，以獲得更高的成功率，同時犧牲運行效率。這使得他們的算法非常慢（甚至比一些黑盒攻擊更耗時）。在這項工作中，我們強調一個好的和強大的攻擊者應該是既有效又高效的。為了達到這個目標，我們設計了兩個最小化的目標，即魯棒精度和復雜性。

接下來，我們將闡述這兩個客觀條件。第一項RA（魯棒精度）是目標模型對生成的對抗樣本的準確性。這也反映了攻擊者的實力。對于第二項復雜度，我們使用梯度評估的次數作為復雜度度量。對于常規攻擊算法，梯度求值次數表示攻擊算法在攻擊過程中計算目標模型梯度的次數，通常等于優化步驟t。因此，我們可以將總體目標函數表述為：

其中$s（x）$表示針對輸入$x$的攻擊策略的輸出，$N$是攻擊策略的長度，$\alpha$是權衡攻擊強度和復雜性的系數。然后，我們可以應用搜索算法，通過最小化目標$L$，從數千個可能的策略中找到最優攻擊策略$s^{?}$：

Search Space（搜索空間）

我們的搜索空間分為兩部分：1）搜索攻擊操作的選擇和順序；2） 搜索每次攻擊行動的幅值$?$和步數$t$。對于由$N$個基本攻擊操作組成的攻擊策略，攻擊操作搜索形成了$||A|{|}^N$個可能性的問題空間。此外，每個操作還與它們的幅度和步長相關聯。我們將$?$和$t$的大小范圍離散為8個值（均勻間距），這樣就可以將復合對抗攻擊搜索簡化為一個離散優化問題。最后，整個搜索空間的總大小為$(8?8?||A|{|}^N)$。

本文研究了三類策略空間，即構建了$S_{l_{\infty }},S_{l_2}$和$S_{unrestricted}$。我們分別空間$S_{l_{\infty }},S_{l_2}$實施六個$l_{\infty }$-攻擊者和六個$l_2$-攻擊者。在不受限制的情況下，我們使用了更大的搜索空間和19個實現的攻擊算法。另外，所有的$S_{l_{\infty }},S_{l_2}$和$S_{unrestricted}$也采用身份攻擊來表示身份操作。圖4示出了每個搜索空間中的攻擊策略的輸出可視化。

Search Strategy（搜索策略）

搜索策略在尋找最佳攻擊策略中起著重要的作用。在我們的問題設置中，搜索空間的規模相對較小。而且策略評估的成本比NAS等其他任務要低得多。這允許我們使用一些高性能的搜索算法。我們比較了三種廣泛使用的方法，即貝葉斯優化（Snoek、Larochelle和Adams 2012）、強化學習（Zoph和Le 2016）和NSGA-II遺傳算法（Deb等人，2002）。詳細的實現和比較見附錄B。雖然貝葉斯優化和強化學習在AutoML領域被廣泛認為是有效的，但是在這個問題中，我們發現它們更耗時，收斂速度也更慢。相比之下，NSGA-II更快，因為在搜索期間不需要額外的模型優化過程。它只需要對種群更新進行幾次迭代就可以快速找到最優解。

詳細地說，NSGA-II需要維護所有可能的策略的有限集和將每個策略$s\in S$映射到實數R集的策略評估函數。在這項工作中，我們使用公式3作為政策評估函數。NSGA-II算法分三步探索潛在攻擊策略的空間，即種群初始化步驟，生成具有隨機策略的種群$P_0$；探索步驟，包括攻擊策略的交叉和變異，最后是一個開發步驟，利用存儲在整個評估策略歷史中的隱藏有用知識，找到最優策略。整個過程如Alg1所示。在本文的剩余工作中，我們采用了NSGA-II算法進行策略搜索。

4、Experiments

Experiment Setup

為了驗證CAA的性能，在11個開源防御模型上對$S_{l_{\infty }},S_{l_2}$和$S_{unrestricted}$的搜索攻擊策略進行了評估。我們在CIFAR-10（Krizhevsky，Hinton等人，2009）和ImageNet（Deng等人，2009）數據集上進行了$l_{\infty }$和$l_2$攻擊實驗。我們對Bird&Bicycle（Brown et al.2018）數據集執行無限制攻擊。穩健的準確度被記錄為測量，以與最近10名頂級攻擊者進行比較。在執行過程中，我們將政策的所有中間結果與（Croce和Hein 2020）相似地進行整合。

Details of Search Space（搜索空間的詳細信息）CAA的候選池由32個攻擊操作組成，即6個$l_{\infty }$-攻擊、6次$l_2$攻擊、19次無限制攻擊和最后一次身份攻擊（即身份操作）。已實現的攻擊算法的詳細摘要如表1所示。1.我們借用了開源攻擊工具箱中的一些算法的代碼，比如Foolbox（Rauber，Brendel，Bethge 2017）和Advertorch（Ding，Wang，Jin 2019）。每個基本攻擊者的實現和引用可在附錄A中找到。

Data configuration（數據配置） 對于CIFAR-10，我們在一個小的子集上搜索最佳策略，該子集包含從序列集中隨機選擇的4000個樣本。測試集中總共有10000個樣本用于評估搜索到的策略。對于ImageNet，由于整個驗證集比較大，我們分別從訓練和測試數據庫中隨機選取1000張圖像進行策略搜索和1000張圖像進行評估。對于Bird&Bicycle，我們使用所有250個測試圖像進行評估，并隨機選擇1000個訓練圖像進行攻擊策略搜索。

Summary of Experiments（實驗摘要）我們調查了四種情況：1）最佳攻擊，在候選池中搜索最佳單個攻擊者；2） 誘捕攻擊，搜索多個攻擊者的合謀；3） $CA{A}_{dic}$，直接搜索給定數據集上的CAA策略；4）$CA{A}_{sub}$，通過攻擊對抗性訓練CIFAR10模型作為替代進行搜索，并轉移到其他模型或任務中。為了公平起見，我們將我們的方法與之前最先進的攻擊者在11個收集的防御模型上進行了比較：Advtrain（Madry et al.2017）、TRADES（Zhang et al.2019）、AdvPT（Hendrycks、Lee和Mazeika 2019）、MMA（Ding et al.2019）、JEM（Grathwohl et al.2019）、PCL（Mustafa et al.2019）、Semi Adv（Carmon et al.2019）、FD（Xie et al.2019），AdvFree（Shafahi等人，2019年），貿易24和LLR5。接下來，我們利用多種體系結構（VGG16（Simonyan 2014）、ResNet50（He et al.2016）、Inception（Szegedy et al.2015）和數據集（MNIST（LeCun et al.1998）、CIFAR-100、SVHN（Netzer et al.））來研究CAA在黑盒和白盒設置下的可轉移性。最后，研究了不同策略搜索算法和攻擊策略長度N的影響。分析了非目標攻擊和目標攻擊搜索策略的區別。在這些燒蝕實驗中可以發現一些見解。

Comparison with State-of-the-Art（與最新技術的比較）表2表示$l_{\infty }$-基于四種變體的攻擊結果，即：$CA{A}_{sub}$、 $CA{A}_{dic}$、EnsAttack和BestAttack對CIFAR-10的攻擊數據集。大多數的研究工作都是在這種情況下研究模型的穩健性，因此我們可以收集更多的防御來進行評估。比較的攻擊者是150步ODI-PGD（10步ODI和20次重啟），100步PGD和APGD（10次重啟），FAB和AA。FAB和AA的超參數與原論文（Croce和Hein 2020）一致。所有這些攻擊者的梯度評估總數（復雜度）都大于1000。相比之下，我們的CAAsub具有較低的復雜度（800），并且以較高的錯誤率破壞了模型。這意味著即使是替換攻擊策略也可能具有較高的時間效率和可靠性。直接搜索感興趣的任務可以進一步提高性能。從表的最后一行可以看出， $CA{A}_{dic}$建立了更強的攻擊策略，魯棒精度平均下降了0.1%。除了CAA之外，我們還評估了圖2中的兩個可選方案：BestAttack和EnsAttack。BestAttack的最終搜索策略是MT LinfAttack，在$S_{l_{\infty }}$條件它是中最強的攻擊者。然而，結果表明，最好的單個攻擊者在現有方法面前并不具有競爭力。EnsAttack搜索包含MT-Linf、PGD-Linf和CW-Linf攻擊的策略。與BestAttack相比，EnsAttack融合了多個攻擊，取得了更好的效果。但這仍然比民航局的政策更糟糕。這意味著CAA在經驗上比攻擊者的集合更好。對于CIFAR-10上基于$l_2$的攻擊，我們的方法也有很好的性能。

ImageNet上的結果顯示在表3。我們證明了這一點與CIFAR-10相比，CAA在ImageNet上獲得了更大的改進，尤其是$CA{A}_{sub}$在攻擊$l_{\infty }$對抗訓練模型時，準確率達到了38.30%，比最先進的模型提高了2%左右。這意味著CAA更適合攻擊復雜的分類任務。ImageNet分類有更多的分類和更大的圖像輸入大小。此外，我們還發現，在ImageNet上，由基礎攻擊者生成的對抗性示例更加多樣化。對于這樣一個復雜的任務，攻擊策略的設計有更大的空間。

對于無限制攻擊，我們選擇了在無限制對抗示例競賽（Brown et al.2018）中提出的Bird&Bicycle基準。排名前兩位的防御模型LLR和TRADESv2用于評估。為了公平起見，我們只使用競賽中的熱身攻擊作為搜索空間$S_{unrestricted,}$，避免了防御模型從未見過的攻擊。LLR和TRADESv2對腐敗、空間攻擊和SPSA攻擊的魯棒準確率接近100%。但在CAA合成這些攻擊后，LLR和TRADESv2的魯棒精度迅速下降到零左右。結果表明，現有的無限制對抗防御模型對單個測試攻擊者的適應性嚴重過強。在不受限制的攻擊環境中，我們無法很好地防御CAA。因此，我們認為要實現真正的無限制對抗健壯性，還有很多工作要做。

Analysis of searched policy（搜索策略分析）我們將搜索到的關于$S_{l_{\infty }},S_{l_2}$和$S_{unrestricted}$的最佳策略可視化到Tab2。在CIFAR-10分類任務中，通過攻擊敵方訓練模型來搜索策略。在所有$l_{\infty }$和$l_2$和無限制攻擊場景中，CAA都傾向于選擇強攻擊。以$S_{l_{\infty }}$策略為例，CAA選擇最強的MT-LinfAttack作為第一和第二位置攻擊，放棄較弱的攻擊者，如一步FGSM。因此，我們認為一個良好的候選攻擊池對CAA的性能至關重要。另一個基礎是CAA喜歡一些不同的基礎攻擊者組合的策略。這意味著由MI-Linf和PGD-Linf攻擊形成的策略通常不會有什么改進，因為它們之間的差別很小（原理和目標函數相同）。相比之下，在$S_{l_{\infty }}$的最佳策略中，CAA選擇了更為多樣化的基于邊緣丟失的CW-Linf攻擊來輔助基于交叉熵丟失的攻擊者，從而提高了攻擊性能。

Attack transferability（攻擊可轉讓性）我們研究了CAA在兩種情況下的可轉移性：1）黑盒設置和2）白盒設置。在黑盒設置下，我們無法得到目標模型的梯度。相反，我們使用CAA搜索替代模型上的策略，并生成對抗樣本來攻擊目標模型。在白盒設置中，允許梯度評估，因此在替代任務或模型上搜索的策略用于直接在目標模型上生成對抗性樣本。

Black-box Transferability of CAA（CAA的黑盒可轉移性）這里我們討論CAA是否可以用于搜索黑盒轉移攻擊。為了滿足這一要求，我們對原來的CAA做了一些修改。具體來說，在對抗性樣本生成階段，我們使用攻擊策略s來攻擊替代模型。然后在目標模型上對這些對抗樣本進行了測試。以目標模型的魯棒精度作為策略的評價分數。除此之外，整個搜索過程保持不變。我們把這個變體命名為$CA{A}_{trans}$。在攻擊可轉移性實驗中，我們使用了三種不同體系結構的模型（VGG16、Inceptionv3和ResNet50），并通過標準對抗訓練進行防御。結果記錄在Tab中4.第一列顯示實驗設置。例如，R→V意味著我們使用ResNet50作為替代模型來攻擊VGG16。

結果表明，在大多數轉移攻擊環境下，CAA都能獲得更好的性能。特別是采用VGG16作為替代模型時，攻擊強度明顯提高，目標模型精度下降3%。結果表明，自動搜索過程也有助于發現更黑盒可轉移的攻擊策略，而不限于白盒情況。通過對附錄D中搜索到的可轉移策略的可視化，我們發現$CA{A}_{trans}$沒有采用某些“強”攻擊，因為此類攻擊可能具有較差的可轉移性。相反，策略中選擇了FGSM或MI-Linf攻擊作為更好的可轉移組件，這解釋了$CA{A}_{trans}$可以提高攻擊可轉移性的原因。

White-box Transferability of CAA（CAA的白盒可轉移性）在這里，我們試圖了解是否有可能在白盒情況下轉移攻擊策略，即在替代任務或模型上搜索的策略用于攻擊目標模型。詳細的實驗見附錄C。從結果來看，我們強調CIFAR-10上搜索到的策略仍然可以很好地轉移到許多模型體系結構和數據集。因此，我們相信CAA不會“過度適應”數據集或模型體系結構，它確實找到了抓住真正弱點的有效策略，并且可以應用于所有此類問題。但是，不能保證攻擊策略在防御系統之間傳輸。提高防御系統間可轉移性的一個經驗做法是在候選池中使用更強、更多樣化的攻擊算法。引用位于表2。通過在$S_{l_{\infty }}$中使用6個強攻擊者，$CA{A}_{sub}$在多種防御模型上都取得了令人滿意的效果。

5、Ablations

Analysis of the policy length N （策略長度N的分析）我們進行了一系列的實驗，以探討一個較長的策略是否具有更強的攻擊能力，該策略可以采用更多、多樣的基攻擊者。我們選擇了長度為1、2、3、5和7的五個策略。圖5顯示了魯棒精度隨策略長度的曲線。當N=1時，CAA等于在候選池中找到最佳的基攻擊者，因此在這種情況下性能最差。隨著N的增加，攻擊策略在所有$l_{\infty }$、$l_2$和無限制設置下都變得更強。我們發現策略長度對$l_2$攻擊設置的影響最小。基本攻擊越多，二級攻擊的優化步驟就越多，這是合理的。相比之下，N對無限制攻擊的性能影響很大。當使用大于3的搜索攻擊策略時，在不受限制的設置下，準確率迅速下降到零左右。

Different Search Methods（不同的搜索方法） 表5介紹了隨機搜索、貝葉斯優化、強化學習和NSGA-II遺傳算法四種優化方法的性能和搜索時間。每種方法的詳細實現見附錄B。隨機搜索是以100個隨機策略進行試驗并選出最佳策略作為基線。與基線相比，所有啟發式算法都能找到更好的策略。雖然貝葉斯優化和強化學習在大空間搜索中被廣泛認為是有效的，但是在這個問題中，我們發現它們更耗時，更容易陷入局部最優。相比之下，NSGA-II以3gpu/d的低成本找到更好的策略，并獲得更好的性能。

Target vs. Non-target attack（目標與非目標攻擊）目標攻擊是一種特殊的應用場景，攻擊者通過欺騙模型來輸出他們想要的目標標簽。否則，沒有給出目標標簽就稱為非目標攻擊。我們在附錄C中的目標攻擊設置下對CAA進行了實驗。對于目標攻擊，CAA搜索隨機初始化較少的策略。這表明沒有隨機初始化的攻擊者更適合目標設置。此外，與邊際損失相比，交叉熵損失的基攻擊者更受CAA的青睞。CAA搜索的策略在目標攻擊方面也得到了改進。

6、Conclusion

我們提出了一個自動學習攻擊策略的過程，該過程是由一系列基本攻擊者組成的，用于破壞ML系統。通過將我們的搜索策略與10個最近的攻擊者在11種不同防御方式下的搜索策略進行比較，表明我們的方法在較短的運行時間內獲得了較好的攻擊成功率。經驗證明，搜索更好的算法和超參數也有助于對抗性攻擊。

我們認為我們工作的最重要的擴展是如何防御能夠自動搜索最強攻擊算法的攻擊者。從這個角度出發，我們將在今后的工作中研究基于CAA的對抗性訓練方法

總結

以上是生活随笔為你收集整理的【全文翻译】Composite Adversarial Attacks的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。