?

?PaperWeekly ·?作者｜王嘉凱

學(xué)校｜北京航空航天大學(xué)博士生

研究方向｜對抗樣本

?

近年來，隨著人工智能技術(shù)的發(fā)展，智能化應(yīng)用在各行各業(yè)都有了廣泛的應(yīng)用。在與我們生活息息相關(guān)的零售領(lǐng)域，人工智能技術(shù)的到來極大地便利化了人們的零售購物方式，人們不在需要排隊等待售貨員人工掃碼結(jié)賬，只需要平鋪所有商品，基于計算機視覺的智能零售系統(tǒng)便可以迅速掃描計算價格，這引起零售行業(yè)降本增效的新浪潮。

然而 AI 自動零售落地并不是一片坦途，近年來 AI 安全性問題向其發(fā)出了最嚴峻的挑戰(zhàn)。

北京航空航天大學(xué)團隊的最新研究成果表明，在自動零售領(lǐng)域核心的自動結(jié)算（Automatic Check-Out）環(huán)節(jié)，一塊不大的類似商品商標(biāo)的貼紙就能嚴重影響計算機視覺識別系統(tǒng)，導(dǎo)致其將昂貴的商品識別為非常便宜的物品。

如上圖所示的帶有商標(biāo)或者 logo 的商品在生活中十分常見，而利用生成的類似形態(tài)的具有攻擊性的對抗補丁（adversarial patch）可以讓真實世界中的商品識別系統(tǒng)（淘寶“掃一掃”和京東“掃啊掃”）識別錯誤。

讓我們想象一下這樣的場景，當(dāng)顧客在自動結(jié)算時，貨物上出現(xiàn)了對抗補丁，原本可能只需要花 10 元錢的東西被錯誤識別為 100? 元，顧客蒙受了損失，而對于商家而言，惡意的補丁可能導(dǎo)致原本應(yīng)該收入 100 元的貨物只收入 10 元，同樣蒙受巨大損失。

因此對于自動結(jié)算環(huán)節(jié)，有能力使得識別模型失效的對抗補丁具有相當(dāng)高的危險性，需要引起從業(yè)者的廣泛關(guān)注！

該論文題為“Bias-based Universal Adversarial Patch Attack for Automatic Check-out”，提出了一種基于模型偏見（Bias）的通用對抗性補丁生成框架。

該框架充分利用了模型的感知偏見和語義偏見，具有較強的泛化能力，在數(shù)字世界進行了大量的實驗，在真實世界具有極強的易實現(xiàn)性，并且能夠成功攻擊物理世界中部署的商品識別系統(tǒng)（淘寶和京東），目前論文已經(jīng)被全球計算機視覺頂級會議 ECCV-2020 接收。

論文標(biāo)題：Bias-based Universal Adversarial Patch Attack for Automatic Check-out

論文鏈接：http://arxiv.org/abs/2005.09257

代碼鏈接：https://github.com/liuaishan/ModelBiasedAttack

基于模型偏見的對抗攻擊

本文提出的對抗補丁生成框架具有較好的泛化能力，能夠有效的攻擊模型訓(xùn)練過程中“不可見”的物品種類，通過在真實世界系統(tǒng)中的測試和驗證，驗證了其有效性。

其主要框架如下圖所示，通過利用模型固有的感知偏見從難樣本中提取先驗補丁塊，并進行融合處理以獲得更好的泛化攻擊能力。在此基礎(chǔ)上，生成包含豐富語義信息的類原型幫助訓(xùn)練對抗補丁，以獲得對抗補丁生成效率上的提升。

▲ 圖2 基于偏見的通用對抗補丁生成框架

基于感知偏見的先驗補丁生成

基于感知偏見的先驗補丁首先基于多個難樣本生成融合樣本。難樣本是指模型難以正確分類和識別的樣本且在數(shù)據(jù)集中普遍存在，被模型錯分的難樣本顯然離正確的分類區(qū)域更遠，也即是更容易跨越模型的決策邊界導(dǎo)致模型分類錯誤，利用難樣本的特征進行攻擊如同“站在巨人的肩膀上”。

而已有的研究證明了，神經(jīng)網(wǎng)絡(luò)模型的判斷更多依賴于紋理信息（texture），這也被認為是一種模型在感知上的偏見，為了利用這一客觀性質(zhì)進行對抗攻擊，進一步的，本論文通過引入風(fēng)格損失提取這類感知偏見，以增強融合樣本的泛化攻擊能力：

為了增強融合樣本的不確定性，引入了類的不確定損失：

最終，在先驗補丁生成環(huán)節(jié)，優(yōu)化如下的融合損失：

融合后的樣本具備更強的不確定性和泛化能力，基于此，作者通過使用一個注意力模塊來提取最終先驗補丁塊：

其中融合樣本中每個像素點的權(quán)重計算如下：

?

基于語義偏見的類原型訓(xùn)練

由于具有通用性的對抗性擾動的生成策略大多需要大量的訓(xùn)練數(shù)據(jù)，這極大的增加了各種意義上的訓(xùn)練開銷，降低了對抗樣本的可攻擊性。為了減輕對大量訓(xùn)練數(shù)據(jù)的依賴，本文進一步引入了基于語義偏見的類原型。

類原型是一種包含數(shù)據(jù)集中某一類語義信息的典型表示，其代表了某一類別的深層特征，對模型而言，這種類原型會使得模型產(chǎn)生語義上的“偏見”，通過引入類原型，可以訓(xùn)練對抗補丁利用這種固有的語義上的偏見實現(xiàn)對模型的欺騙行為。

其中類原型的目標(biāo)函數(shù)如下：

考慮到對抗補丁在現(xiàn)實中的環(huán)境適應(yīng)，論文還引入了轉(zhuǎn)換模塊已獲得更強的物理世界攻擊性。由此，得到整個框架的訓(xùn)練流程：

實驗結(jié)果：AI零售仍然有很長一段路要走

?

首先，論文的數(shù)字世界實驗在目前為止最大的零售 ACO 任務(wù)數(shù)據(jù)集上進行了白盒攻擊實驗和黑盒攻擊實驗，驗證了所提出的框架生成的對抗補丁的有效性。

4.1 數(shù)字世界攻擊

如下圖所示，在白盒攻擊的條件下，論文基于 ResNet-152 為 backbone 模型進行實驗，并在相同的 backbone 下與其他方法進行對比，結(jié)果顯示，本論文提出的方法攻擊后的準確率降為 5.42%，遠遠低于對比方法的準確率。

在黑盒攻擊的條件下，論文在 ResNet-152 為 backbone 的條件下進行訓(xùn)練，攻擊不同的模型（VGG-16、AlexNet、ResNet-101），同樣達到了最好的水平（top-1 accuracy下）。

4.2 真實世界攻擊

真實世界攻擊基于兩種在線購物平臺（淘寶和京東）進行，在所有的 4 個種類 80 張真實世界貨物的照片中，分別只有 56.25% 和 55% 被成功識別，而在不加對抗補丁的條件下，準確率分別為 100% 和 95%，如下圖樣例所示，牛奶被識別為鋁箔，水杯被識別為裝飾品：

展望

計算機視覺技術(shù)的進步極大的推動了人工智能浪潮，視覺技術(shù)正在我們的生活中產(chǎn)生巨大的應(yīng)用價值，也展現(xiàn)出了巨大的發(fā)展?jié)摿?#xff0c;人臉識別、自動駕駛、行人檢測、視頻安防等領(lǐng)域的諸多成果無不昭示著技術(shù)給我們帶來的便利。

AI 零售被認為是下一個人工智能應(yīng)用落地的領(lǐng)域之一，計算機視覺應(yīng)用于這一領(lǐng)域不僅能夠提升結(jié)算效率，同時能夠極大的節(jié)省成本。

然而面臨著對抗樣本的攻擊，基于計算機視覺的自動零售系統(tǒng)暴露出了極大的安全隱患，面對這種風(fēng)險，AI 自動零售還能更順利的走下去嗎？

我們應(yīng)當(dāng)以更加慎重的態(tài)度和更加挑剔的眼光審視人工智能系統(tǒng)，重視安全人工智能與可解釋深度學(xué)習(xí)技術(shù)的發(fā)展，用積極的心態(tài)擁抱技術(shù)，用更周全的思維發(fā)展技術(shù)，讓人工智能技術(shù)更好的造福人類。

?

作者及團隊介紹

劉艾杉，北京航空航天大學(xué)計算機學(xué)院博士三年級在讀，主要研究方向為對抗樣本、深度學(xué)習(xí)魯棒性、人工智能安全性，已在 ECCV、AAAI、IJCAI 等國際頂級人工智能與計算機視覺會議發(fā)表多篇論文，并擔(dān)任多個國際會議及期刊審稿人（如：ACMMM，IJCAI，IEEE TIP等）。?

王嘉凱，北京航空航天大學(xué)博士二年級在讀，研究方向為對抗樣本生成，深度學(xué)習(xí)魯棒性與安全性，已有研究成果在 ECCV 發(fā)表。?

劉祥龍，北京航空航天大學(xué)副教授，主要研究方向為大數(shù)據(jù)檢索、大規(guī)模視覺分析、可信賴深度學(xué)習(xí)等，已在 CVPR、ICCV、AAAI 等國際頂級人工智能與計算機視覺會議和 IEEE TIP 等國際重要 SCI 期刊上發(fā)表論文 100 余篇，擔(dān)任多個重要的國際會議或者期刊評審和領(lǐng)域主席，入選北京市科技新星計劃和 CCF 青年人才發(fā)展計劃等。

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標(biāo)準：

? 稿件確系個人原創(chuàng)作品，來稿需注明作者個人信息（姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向）?

? 如果文章并非首發(fā)，請在投稿時提醒并附上所有已發(fā)布鏈接?

? PaperWeekly 默認每篇文章都是首發(fā)，均會添加“原創(chuàng)”標(biāo)志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發(fā)送?

? 請留下即時聯(lián)系方式（微信或手機），以便我們在編輯發(fā)布時和作者溝通

????

現(xiàn)在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學(xué)術(shù)平臺。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結(jié)

以上是生活随笔為你收集整理的ECCV 2020 | 智能自动零售可行吗？AI安全应引起广泛关注！的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。