**關(guān)于對(duì)抗性攻擊對(duì)深度學(xué)習(xí)威脅的研究**

Naveed Akhtar and Ajmal Mian
ACKNOWLEDGEMENTS: The authors thank Nicholas Carlini (UC Berkeley) and Dimitris Tsipras (MIT) for feedback to improve the survey quality. We also acknowledge X. Huang (Uni. Liverpool), K. R. Reddy (IISC), E. Valle (UNICAMP), Y. Yoo (CLAIR) and others for providing pointers to make the survey more comprehensive. This research was supported by ARC grant DP160101458.

摘要:深度學(xué)習(xí)時(shí)現(xiàn)在飛速發(fā)展的人工智能的核心技術(shù)。在計(jì)算機(jī)視覺(jué)領(lǐng)域，它已成為從自動(dòng)駕駛以及監(jiān)控安防應(yīng)用鄰域的主力軍。盡管神經(jīng)網(wǎng)絡(luò)已經(jīng)被證明在解決復(fù)雜問(wèn)題的領(lǐng)域（通常超越人類的能力范圍）取得了成功，但是最近的研究表明，神經(jīng)網(wǎng)絡(luò)很容易受到對(duì)輸入進(jìn)行微小擾動(dòng)的對(duì)抗性攻擊，導(dǎo)致模型預(yù)測(cè)出不正確的結(jié)果。以圖片為例，一個(gè)難以察覺(jué)到的微小擾動(dòng)就足以欺騙深度學(xué)習(xí)模型，對(duì)抗性攻擊給深度學(xué)習(xí)成功投入到實(shí)際應(yīng)用帶來(lái)了一系列的威脅。近來(lái)，這一事實(shí)也使得這一方向取得了大量的發(fā)展。本文首先對(duì)機(jī)器視覺(jué)鄰域的深度學(xué)習(xí)對(duì)抗性攻擊展開課整合性的調(diào)查。我們回顧設(shè)計(jì)對(duì)抗性攻擊的工作，分析此類攻擊的存在性并提出針對(duì)它們的防御措施。為了強(qiáng)調(diào)對(duì)抗性攻擊可能出現(xiàn)在實(shí)際生活條件中，我們分別審查評(píng)估真實(shí)場(chǎng)景中對(duì)抗性攻擊的功效。最后，借鑒已審閱的論文，我們?yōu)檫@個(gè)方向上的研究提供了一個(gè)更加廣闊的視野。
索引條目：深度學(xué)習(xí)，對(duì)抗性擾動(dòng)，黑盒攻擊，白盒攻擊，對(duì)抗性學(xué)習(xí)，擾動(dòng)檢測(cè)。
1 簡(jiǎn)介
深度學(xué)習(xí)技術(shù)為機(jī)器學(xué)習(xí)以及人工智能社區(qū)的那些經(jīng)歷了許多嘗試的難題帶來(lái)了突破性的進(jìn)展。因此，它正在以前所未有的規(guī)模被用來(lái)解決艱難的科學(xué)問(wèn)題，例如，大腦回路的重構(gòu)；分析DNA的突變；研究潛在的藥物分子的構(gòu)效以及分析粒子加速器的數(shù)據(jù)。深度學(xué)習(xí)已經(jīng)變成了語(yǔ)音識(shí)別以及自然語(yǔ)言理解領(lǐng)域解決許多挑戰(zhàn)性任務(wù)的最佳選擇。
在計(jì)算機(jī)視覺(jué)領(lǐng)域，在Krizhevsky 等人于2012年公布卷積神經(jīng)網(wǎng)絡(luò)（CNN）在一個(gè)大規(guī)模的富有挑戰(zhàn)性的數(shù)據(jù)集上表現(xiàn)出了極佳的性能之后，深度學(xué)習(xí)成為了關(guān)注的焦點(diǎn)。目前深度學(xué)習(xí)普及的一個(gè)重要功勞也可以歸功于這項(xiàng)開創(chuàng)性的工作。只從2012年以來(lái)計(jì)算機(jī)視覺(jué)社區(qū)已經(jīng)為深度學(xué)習(xí)的做出了大量有價(jià)值的貢獻(xiàn)。這也使得了它為醫(yī)藥科學(xué)以及移動(dòng)應(yīng)用等領(lǐng)域遇到的問(wèn)題提供了解決的 方案。最近人工智能領(lǐng)域匯總基于零樣本學(xué)習(xí)的AlphaGo Zero取得了突破性的發(fā)展，這也要?dú)w功于深度殘差網(wǎng)絡(luò)(ResNet)，其一開始是為圖片識(shí)別任務(wù)而提出的。
隨著深度神經(jīng)網(wǎng)絡(luò)模型的持續(xù)改善，高效的深度學(xué)習(xí)軟件庫(kù)的開發(fā)以及在硬件上訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型變得更加的容易，深度學(xué)習(xí)已經(jīng)快速地投入到安防領(lǐng)域的應(yīng)用當(dāng)中。例如：自動(dòng)駕駛、安防監(jiān)控、惡意軟件檢測(cè)、無(wú)人機(jī)以及機(jī)器人，以及聲控識(shí)別技術(shù)。隨著真實(shí)世界中深度學(xué)習(xí)的發(fā)展，例如面部識(shí)別的ATM機(jī)，已經(jīng)安全臉部識(shí)別的移動(dòng)手機(jī)，都預(yù)示著深度學(xué)習(xí)所取得的革命性成果，特別是這些源自于機(jī)器視覺(jué)的問(wèn)題在我們的日常生活中扮演了一個(gè)重要的角色。
Szegedy等人認(rèn)為，深度學(xué)習(xí)能夠以驚人的精度執(zhí)行各種計(jì)算機(jī)視覺(jué)任務(wù)。他們?cè)趫D像分類上發(fā)現(xiàn)了一個(gè)神經(jīng)網(wǎng)絡(luò)的有趣的弱點(diǎn)。他們表示盡管神經(jīng)網(wǎng)絡(luò)取得了很高的分類準(zhǔn)確率，但他們很容易受到圖像上微小的擾動(dòng)(人類視覺(jué)系統(tǒng)很難察覺(jué)到)所帶來(lái)的對(duì)抗性攻擊。這樣的攻擊可以完全改變神經(jīng)網(wǎng)絡(luò)分類器在該圖片上的預(yù)測(cè)結(jié)果。更加糟糕的是，攻擊模型可以使得神經(jīng)網(wǎng)絡(luò)在錯(cuò)誤的預(yù)測(cè)上報(bào)告出更高的置信度，而且相同的圖片擾動(dòng)可以欺騙多網(wǎng)絡(luò)分類器。這些研究發(fā)現(xiàn)的成果使得研究人員更加地關(guān)注深度學(xué)習(xí)的對(duì)抗性攻擊以及一般的深度學(xué)習(xí)防御機(jī)制。
由于Szegedy等人的發(fā)現(xiàn)，關(guān)于計(jì)算機(jī)視覺(jué)中深度學(xué)習(xí)的對(duì)抗性攻擊的研究，已經(jīng)得出了幾個(gè)有趣的結(jié)果。例如，除了圖片的對(duì)抗性擾動(dòng)之外，Moosavi-Dezfooli等人表明，在任意一張圖片上都存在著廣泛的可以欺騙神經(jīng)網(wǎng)絡(luò)分類器的擾動(dòng)。(如圖1所示).與此類似地， Athalye 等人表明3D打印出來(lái)的物體可以欺騙深度神經(jīng)網(wǎng)絡(luò)分類器(見圖4.3.)本文結(jié)合計(jì)算機(jī)視覺(jué)中深度學(xué)習(xí)研究的意義及其在現(xiàn)實(shí)生活中的潛在應(yīng)用，與此同時(shí)，提出了第一個(gè)關(guān)于計(jì)算機(jī)視覺(jué)中深度學(xué)習(xí)的對(duì)抗性攻擊的綜合性調(diào)查。本文旨在為除了計(jì)算機(jī)視覺(jué)社區(qū)之外提供更廣泛的讀者群，因此它只涉及到深度學(xué)習(xí)和圖像處理的基本知識(shí)。 但它也為感興趣的讀者提供了重要貢獻(xiàn)的技術(shù)細(xì)節(jié)的相關(guān)討論。
在第二部分中我們主要描述了機(jī)器視覺(jué)的中涉及到的對(duì)抗性攻擊的相關(guān)術(shù)語(yǔ)。在第三部分中，我們回顧了圖像分類任務(wù)中的對(duì)抗性攻擊以及除此之外的一些內(nèi)容。然后用一個(gè)單獨(dú)的部分專門介紹處理現(xiàn)實(shí)世界中對(duì)抗性攻擊的方法，這些方法將會(huì)在第四部分中重點(diǎn)介紹。在第五部分中我們也會(huì)重點(diǎn)分析現(xiàn)實(shí)中存在的對(duì)抗性攻擊。而在第六部分中我們將會(huì)介紹針對(duì)對(duì)抗性攻擊所采取的防御措施。在第7部分中，我們基于所評(píng)論的文獻(xiàn)提供了更廣泛的研究方向。 最后在第八部分中我們將得出結(jié)論。

2.定義相關(guān)術(shù)語(yǔ)
·在這一部分中，我們將會(huì)闡述一些在機(jī)器視覺(jué)學(xué)術(shù)界常用的一些術(shù)語(yǔ)。以下的文章中也有對(duì)于相關(guān)術(shù)語(yǔ)的相同定義。
·對(duì)抗性示例/圖像是有意擾亂的干凈圖像的修改版本，它通過(guò)向圖片中加入噪聲來(lái)欺騙深度學(xué)習(xí)技術(shù)，尤其是深度神經(jīng)網(wǎng)絡(luò)。
·對(duì)抗性擾動(dòng)指的是將噪聲添加到清晰的圖片當(dāng)中以生成對(duì)抗性樣例
· 對(duì)抗性學(xué)習(xí)指的是利用對(duì)抗性圖片包括清晰的原圖來(lái)訓(xùn)練機(jī)器學(xué)習(xí)模型
· 對(duì)手更常見的是指創(chuàng)建對(duì)抗性示例的人。 但是，在某些情況下，示例本身也稱為對(duì)手
·黑盒攻擊指的是在測(cè)試期間向目標(biāo)模型喂入不利用任何模型的先驗(yàn)知識(shí)所生成的對(duì)抗性示例。在一些例子中，人們也假定對(duì)手具有有限的模型相關(guān)知識(shí)(比如模型的訓(xùn)練過(guò)程以及結(jié)構(gòu))。但需要明確的是，模型中的參數(shù)是未知的。在另外的一些實(shí)例中，使用目標(biāo)模型的相關(guān)先驗(yàn)信息則被稱為半黑盒攻擊。在本文中我們使用前一種約定方式。
·檢測(cè)器是一種用于檢測(cè)圖像是否是一個(gè)對(duì)抗性的機(jī)制。
·欺騙率指的是圖片擾動(dòng)對(duì)模型正確預(yù)測(cè)的結(jié)果所帶來(lái)的改變的比率。
· one-shot/one-step的方法指的是通過(guò)一步的計(jì)算來(lái)生成對(duì)抗性的擾動(dòng)。例如與只計(jì)算模型損失梯度一次相反的是利用迭代的方法多次執(zhí)行相同的計(jì)算以獲得單個(gè)擾動(dòng)。但最后的計(jì)算開銷通常比較大。
·對(duì)于人類感知，準(zhǔn)不可察覺(jué)的擾動(dòng)會(huì)非常輕微地?fù)p害圖像，這對(duì)于人眼很難辨別出來(lái)
· 整流器用于修改對(duì)抗性示例以將目標(biāo)模型的預(yù)測(cè)結(jié)果恢復(fù)為對(duì)原先的未經(jīng)擾動(dòng)的示例的預(yù)測(cè)。
·目標(biāo)攻擊用于欺騙一個(gè)模型，使其錯(cuò)誤地預(yù)測(cè)攻擊性圖片的標(biāo)簽，與非目標(biāo)性攻擊不同的是，非目標(biāo)性攻擊不考慮圖片與預(yù)測(cè)標(biāo)簽之間的相關(guān)性，其目的只是能使模型錯(cuò)誤地預(yù)測(cè)圖片的標(biāo)簽即可。
威脅模型指的是通過(guò)一種方法考慮潛在攻擊的類型，例如 黑箱襲擊。
遷移性指的是攻擊性樣例對(duì)于除了被用來(lái)生成樣例的模型之外的其他模型仍然起作用。
普遍性的擾動(dòng)指定的是可以以很高的概率通過(guò)任何的圖片欺騙所給的模型。值得注意的是，普遍性是指擾動(dòng)的特性是“圖像不可知”而不是指具有良好的可遷移性。
白盒攻擊指的假設(shè)目標(biāo)模型的某些特性是已知的，包括模型的參數(shù)值，結(jié)構(gòu)，訓(xùn)練方法及其訓(xùn)練數(shù)據(jù)。

3.對(duì)抗性攻擊
在該部分中我們回顧了計(jì)算機(jī)視覺(jué)的相關(guān)文獻(xiàn)，介紹了深度學(xué)習(xí)中的對(duì)抗性攻擊方法。回顧的文獻(xiàn)中主要解決在實(shí)驗(yàn)室配置的條件下來(lái)欺騙神經(jīng)網(wǎng)絡(luò)模型的問(wèn)題，其主要利用了典型的計(jì)算機(jī)視覺(jué)任務(wù)開發(fā)的方法，例如識(shí)別。以及相關(guān)的高效的基準(zhǔn)數(shù)據(jù)庫(kù)，如MNIST數(shù)據(jù)集。這些技術(shù)集中在研究研究攻擊神經(jīng)網(wǎng)絡(luò)，而實(shí)際條件中的攻擊研究我們將會(huì)在第四部分中展開研究，。然而，值得注意的是，該部分的闡述將是現(xiàn)實(shí)情況下攻擊的基礎(chǔ)，其中的很多方法對(duì)實(shí)際應(yīng)用中的深度學(xué)習(xí)技術(shù)都會(huì)產(chǎn)生重大的影響。我們對(duì)不同部分內(nèi)容的分解是根據(jù)原始貢獻(xiàn)中的攻擊評(píng)估條件來(lái)進(jìn)行劃分的。
該部分的回顧主要按照邏輯的順序進(jìn)行展開，在討論的流程中幾乎不存在任何不贊成的觀點(diǎn)。為了向讀者提供核心概念的技術(shù)性理解，我們也討論了許多流行方法以及新興方向的技術(shù)細(xì)節(jié)。其他的方法我們將做簡(jiǎn)短的討論。我們參考了原論文中這些技術(shù)的相關(guān)細(xì)節(jié)。該部分被分為兩個(gè)部分，在3.1中我們回顧了在最為尋常的機(jī)器視覺(jué)任務(wù)中進(jìn)行對(duì)抗性攻擊的方法。例如分類/識(shí)別問(wèn)題，除了這些任務(wù)之外的一些攻擊方法我們將會(huì)在3.2中進(jìn)行討論。

3.1分類的對(duì)抗性攻擊
3.1.1 盒受限 L-BFGS
Szegady等人首次證明了圖片的微小擾動(dòng)的存在，例如擾動(dòng)的圖片可以使深度學(xué)習(xí)的模型錯(cuò)誤的分類。$I_c\in R^m$表示原圖片的一個(gè)向量，下標(biāo)c指的是圖片是clean的，為了計(jì)算附加的通過(guò)輕微的扭曲來(lái)欺騙神經(jīng)網(wǎng)絡(luò)的擾動(dòng)$\rho \in R^m$Szegedy等人提議解決以下問(wèn)題：
$$mi{n}_p||\rho {|}_{2}s.t.C(I_c+\rho )=l;I_c+\rho \in [0,1{]}^m,(1)$$

其中l(wèi)指的是圖片的標(biāo)簽C(.)指的是深度神經(jīng)網(wǎng)絡(luò)分類器。作者提出了非平凡的解決(1)的方案使得l與原始的標(biāo)簽Ic不一致。在該例子中，（1）是一個(gè)困難的問(wèn)題，因此采用了盒受限 L-BFGS的方法來(lái)尋找近似解。這個(gè)方法是通過(guò)尋找最小化大于0的c，使得ρ在下面的問(wèn)題中滿足條件$C（I_c+\rho ）=l;$
$$mi{n}_{\rho }c|\rho |+L(I_c+\rho ,l)s.t.I_c+\rho \in [0,1{]}^m,(2)$$

總結(jié)

以上是生活随笔為你收集整理的论文：Threat of Adversarial Attacks on Deep Learning in Computer Vision: A Survey翻译工作的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。