本工作提出了一種高效的基于決策的黑盒對抗攻擊算法，在業內第一次以完全黑盒的方式成功地實現對人臉識別系統的對抗攻擊。本工作由騰訊 AI Lab 主導，與清華大學，香港科技大學聯合完成，發表于 CVPR 2019。

背景

在圖 1 示例中，我們用同樣的一個人臉識別模型（Arcface [1]）對兩幅看起來一模一樣的人臉圖像進行識別，但是得到了完全不同的兩個識別結果。這是為什么呢？原因是右圖的人臉區域被加上了人眼無法察覺的惡意噪聲，專門用于欺騙人臉識別模型。這種現象叫做對抗樣本，即針對某種特定的模型（例如圖像分類模型 ResNet [2]），在正常樣本（例如 2D 圖像，3D 點云等）上加入微小的噪聲，使得模型原來的結果發生改變。

▲?圖1. 對抗樣本示例：（左）正常人臉圖像；（右）對抗人臉圖像。

以上圖像來自于視頻：https://www.youtube.com/watch?v=d7hZ1VhfygU&t=76s

對抗樣本現象揭示了機器學習模型尤其是深度學習模型的安全漏洞，近年來引起了學術界和工業界的廣泛關注。研究人員已經開發了針對深度學習模型的諸多對抗攻擊算法，最常見的例如 FGSM [3], PGD [4], C&W [5]?等。但是，這些方法都要求獲取被攻擊模型的全部結構和參數，這種攻擊場景被稱作白盒攻擊。

但是在現實場景下，攻擊者是很難獲取被攻擊模型的參數甚至結構的，只能夠獲取被攻擊模型的輸入結果。這種攻擊場景被稱為黑盒攻擊。根據所獲取模型輸出的類型，又可細分為1）基于分數的黑盒攻擊，即能夠獲取模型輸出的后驗概率或者分數（例如人臉比對的相似度分數），2）基于決策的黑盒攻擊，即只能獲取模型輸出的離散類別。很顯然，離散類別提供的關于模型的信息更少，基于決策的黑盒攻擊難度也最大。相對于白盒攻擊算法，基于決策的黑盒攻擊算法非常少，而且攻擊效率不高。?

針對這個難題，我們提出了一種新的搜索算法，充分利用了模型決策邊界的幾何結構和進化算法思想 [6]，大大提高了攻擊效率。

針對人臉比對模型的攻擊問題建模

我們將人臉比對模型表示為，其中；表示參考人臉圖像，x 表示目標人臉圖像；的作用是判斷 x 和? 是否為同一個人，如果相同，則返回 1，否則返回 0。

我們的攻擊任務是在目標人臉圖像 x 的基礎上構造一個對抗人臉圖像?，使得其與參考人臉圖像 ?的比對結果發生改變（即），同時使得 ?與 x 的視覺差異盡量小。該任務可以建模為以下優化問題：

其中，表示兩個圖像之間的距離度量，這里我們采用 L2 范數。?

在人臉比對場景中，根據 x 和 ?是否為同一個人，上述攻擊任務還可以細分為以下兩種攻擊：?

1.?Dodging 攻擊：當?x?和??為同一個人的兩張不同人臉圖像時，即；攻擊的目的是使得 ?被識別為不同于 ?的人，即。這種攻擊可以用于隱私保護，防止自身人臉圖像被第三方檢索。示例如下方左子圖。?

2.?Impersonation 攻擊：當 x 和 ?為不同人的人臉圖像時，即；攻擊的目的是使得 ?被識別與 ?是相同的人，即。這種攻擊可用于身份偽造，侵入他人賬號。示例如下方右子圖。

▲?圖2. 人臉比對攻擊示例。人臉圖像來源于LFW數據集 [7]

優化算法

在上述優化問題中，由于人臉比對模型 f(·,·) 是未知的，我們無法對其進行求導。因此常用的連續優化算法（比如梯度下降法）都不適用。

我們提出了一種基于進化思想的高效搜索算法。我們以圖3作為示意圖來說明我們算法的主要思想。其中，黑色圓點表示目標圖像 x；藍色曲線表示決策邊界（注意，這條曲線實際是不可見的），曲線的上方是不可行域（即），曲線下方是可行域（即）；灰色的 × 點表示已經查詢過的不可行解，灰色的 ○?點表示已經查詢過的可行解，綠色的圓點表示當前可行解。其基本步驟如下：?

1. 以圖 3 左子圖為例，為了探索下一個可行解，我們需要進行采樣。黑色橢圓表示采樣概率分布，其服從高斯分布。該分布的中心點為當前可行解，協方差矩陣是則是根據歷史可行解進行估計的，其基本思想是：根據歷史探索點，我們可以計算出各個方向的探索成功率；沿著成功率大的方向繼續探索，更容易找到下一個可行解。因此，我們根據該分布進行第一步采樣，如從綠色圓點出發的第一個橙色箭頭，到達初始候選解（第一個橙色圓點）。

2. 經過第一步采樣，我們可能找到下一個可行解，但是并不能保證的下降。因此，我們進行第二步探索，即以初始候選解為出發點，沿著目標圖像 x 移動一小步（見第二個橙色箭頭），到達第二個候選解（即第二個橙色圓點）。

3. 隨后，我們在對第二個候選解進行查詢，判斷其是否滿足約束：如果滿足，則將其作為最新可行解，如圖 3 右子圖所示，并對采樣概率分布（即黑色橢圓）進行更新；如果不滿足，則保持當前解不變，重新上述采樣過程。?

在上述搜索算法中，我們將圖像的每個像素當作一個維度。整個搜索空間的維度非常高，這往往意味著搜索效率非常低。為此，我們在搜索中嵌入了兩種加速策略：

1. 隨機坐標采樣：即每次采樣只在部分維度（即部分像素）進行，而不是所有維度。維度的選取以采樣概率分布為依據，方差大的維度被選中的概率也更高。

2. 維度降采樣：我們假設對抗噪聲在像素坐標系中也是空間平滑的，即相鄰像素的對抗噪聲相近。因此，我們均勻間隔地選取一部分像素作為我們搜索的子空間；但在子空間中找到一個候選解（即候選對抗噪聲）時，我們根據像素的空間坐標進行雙線性插值，得到一個全空間的候選解。?

上述算法的全部流程總結在圖 4 中。

▲?圖3.?算法示意圖

▲?圖4.?基于進化思想的攻擊搜索算法

實驗結果

實驗一：我們首先對 ArcFace 人臉識別模型進行了基于決策的黑盒攻擊，其攻擊效果如圖 5 所示。無論是 Dodging 攻擊還是 Impersonation 攻擊，隨機攻擊次數的增加，對抗噪聲越來越小，直至人眼無法察覺。每幅圖下方的數字代表其包含的對抗噪聲的 L2 范數。

▲?圖5. 對ArcFace模型的黑盒攻擊結果

實驗二：對比攻擊實驗。我們選取了幾種最新的基于決策的黑盒攻擊算法，包括Boundary [8], Optimization [9]?和 NES-LO [10]。雖然這幾種方法都是為攻擊一般圖像分類模型而設計的，但是也很容易改造為對人臉識別模型的攻擊，即替換約束條件。我們對當前最流行的三種人臉識別模型上進行了攻擊，包括 SphereFace [11], CosFace [12]?和 ArcFace [1]。

實驗結果如表 1 所示，在相同查詢次數下，我們所提出的進化攻擊算法所得到的對抗噪聲明顯小于其他對方方法的噪聲。在圖 6 中，我們還展示了噪聲水平隨著查詢次數的下降曲線，我們方法的下降曲線明顯快于其他對比方法。這些對比結果表明，我們的進化攻擊算法的效率遠遠好于已有黑盒攻擊算法。

▲?圖6.?對ArcFace模型的黑盒攻擊的噪聲下降曲線

實驗三：對人臉識別 API 的黑盒攻擊實驗。很多人工智能公司都提供了人臉識別接口，可以通過訪問 API 的形式獲取人臉識別結果。我們選擇了騰訊 AI 開放平臺上的人臉比對接口（https://ai.qq.com/product/face.shtml#compare）進行了測試。該接口可以返回人臉比對的相似度。但是，我們以 90% 為界限，超過則比對成功，即返回 1，否則返回 0。我們只根據查詢返回的 0 或者 1 來優化對抗噪聲。

實驗結果如圖 7 和圖 8 所示，我們的算法可以輕松欺騙該人臉比對系統；在同樣查詢次數下，我們算法得到的噪聲圖像，比對比方法得到的噪聲圖像，更加接近于目標圖像，即噪聲水平更小。

▲?圖7.（左）參考圖像與正常目標圖像的相似度為38%；（右）參考圖像與對抗圖像（我們的算法經過10000次查詢所得）的相似度為89%（注意，在攻擊過程中，相似度為90%，但是保存對抗圖像后會有微小的精度損失）。

▲?圖8. 對人臉識別API進行黑盒攻擊的不同方法對比效果。上述結果都是經過10000次查詢得到的。

總結與思考

本工作的意義，不僅僅在于第一次成功地以完全黑盒地方式實現了對人臉識別系統的攻擊，更是為當前十分火熱的人臉識別敲響了警鐘。考慮到人臉識別系統的廣泛應用場景，比如門禁，海關，支付等，我們應該對人臉識別系統的安全漏洞更加重視。我們不僅要盡可能多地探測人臉識別系統的漏洞，更要及時找到彌補漏洞的方案，不斷提高人臉識別系統的安全性，使得人臉識別的應用更加安全可靠。

參考文獻

[1] J. Deng, J. Guo, N. Xue, and S. Zafeiriou. "Arcface: Additive angular margin loss for deep face recognition." In CVPR, 2019.?

[2] K. He, X. Zhang, S. Ren, and J. Sun, Deep residual learning for image recognition. In CVPR, 2016.?

[3] Goodfellow, I. J., Shlens, J., & Szegedy, C. (2014). Explaining and harnessing adversarial examples. arXiv preprint arXiv:1412.6572.?

[4] Madry, A., Makelov, A., Schmidt, L., Tsipras, D., & Vladu, A. (2017). Towards deep learning models resistant to adversarial attacks. arXiv preprint arXiv:1706.06083.?

[5] Carlini, N., & Wagner, D. (2017, May). Towards evaluating the robustness of neural networks. In 2017 IEEE Symposium on Security and Privacy (SP) (pp. 39-57).?

[6] C. Igel, T. Suttorp, and N. Hansen. A computational efficient covariance matrix update and a (1+ 1)-cma for evolution strategies. In Proceedings of the 8th annual conference on Genetic and evolutionary computation, pages 453–460. ACM, 2006.?

[7] G. B. Huang, M. Mattar, T. Berg, and E. Learned-Miller. Labeled faces in the wild: A database for studying face recognition in unconstrained environments. In Workshop on faces in ’Real-Life’ Images: detection, alignment, and recognition, 2008.?

[8] W. Brendel, J. Rauber, and M. Bethge. Decision-based adversarial attacks: Reliable attacks against black-box machine learning models. In ICLR, 2018?

[9] M. Cheng, T. Le, P.-Y. Chen, J. Yi, H. Zhang, and C.-J. Hsieh. Query-efficient hard-label black-box attack: An optimization-based approach. arXiv preprint arXiv:1807.04457, 2018?

[10] Ilyas, A., Engstrom, L., Athalye, A. and Lin, J., 2018. Black-box adversarial attacks with limited queries and information. In ICML, 2018?

[11] W. Liu, Y. Wen, Z. Yu, M. Li, B. Raj, and L. Song. Sphereface: Deep hypersphere embedding for face recognition. In CVPR, 2017?

[12] H. Wang, Y. Wang, Z. Zhou, X. Ji, Z. Li, D. Gong, J. Zhou, andW. Liu. Cosface: Large margin cosine loss for deep face recognition. In CVPR, 2018

點擊以下標題查看更多往期內容：?

• ICCV 2019 | 沉迷AI換臉？不如來試試“AI換衣”
  

• ICCV 2019?| 單幅圖像下實現任意尺度自然變換
  

• ICCV 2019?| 打造炫酷動態的藝術字
  

• ICCV 2019 | 基于關聯語義注意力模型的圖像修復
  

• ICCV 2019 | 基于元學習和AutoML的模型壓縮
  

• ICCV 2019?| 適用于視頻分割的全新Attention機制

#投 稿 通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

???? 投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點擊 |?閱讀原文?| 下載論文

總結

以上是生活随笔為你收集整理的CVPR 2019 | 针对人脸识别系统的高效黑盒对抗攻击算法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。