ECCV 2020 | 智能自动零售可行吗?AI安全应引起广泛关注!
?
?PaperWeekly ·?作者|王嘉凱
學(xué)校|北京航空航天大學(xué)博士生
研究方向|對抗樣本
?
近年來,隨著人工智能技術(shù)的發(fā)展,智能化應(yīng)用在各行各業(yè)都有了廣泛的應(yīng)用。在與我們生活息息相關(guān)的零售領(lǐng)域,人工智能技術(shù)的到來極大地便利化了人們的零售購物方式,人們不在需要排隊等待售貨員人工掃碼結(jié)賬,只需要平鋪所有商品,基于計算機視覺的智能零售系統(tǒng)便可以迅速掃描計算價格,這引起零售行業(yè)降本增效的新浪潮。
然而 AI 自動零售落地并不是一片坦途,近年來 AI 安全性問題向其發(fā)出了最嚴峻的挑戰(zhàn)。
北京航空航天大學(xué)團隊的最新研究成果表明,在自動零售領(lǐng)域核心的自動結(jié)算(Automatic Check-Out)環(huán)節(jié),一塊不大的類似商品商標(biāo)的貼紙就能嚴重影響計算機視覺識別系統(tǒng),導(dǎo)致其將昂貴的商品識別為非常便宜的物品。
如上圖所示的帶有商標(biāo)或者 logo 的商品在生活中十分常見,而利用生成的類似形態(tài)的具有攻擊性的對抗補丁(adversarial patch)可以讓真實世界中的商品識別系統(tǒng)(淘寶“掃一掃”和京東“掃啊掃”)識別錯誤。
讓我們想象一下這樣的場景,當(dāng)顧客在自動結(jié)算時,貨物上出現(xiàn)了對抗補丁,原本可能只需要花 10 元錢的東西被錯誤識別為 100? 元,顧客蒙受了損失,而對于商家而言,惡意的補丁可能導(dǎo)致原本應(yīng)該收入 100 元的貨物只收入 10 元,同樣蒙受巨大損失。
因此對于自動結(jié)算環(huán)節(jié),有能力使得識別模型失效的對抗補丁具有相當(dāng)高的危險性,需要引起從業(yè)者的廣泛關(guān)注!
該論文題為“Bias-based Universal Adversarial Patch Attack for Automatic Check-out”,提出了一種基于模型偏見(Bias)的通用對抗性補丁生成框架。
該框架充分利用了模型的感知偏見和語義偏見,具有較強的泛化能力,在數(shù)字世界進行了大量的實驗,在真實世界具有極強的易實現(xiàn)性,并且能夠成功攻擊物理世界中部署的商品識別系統(tǒng)(淘寶和京東),目前論文已經(jīng)被全球計算機視覺頂級會議 ECCV-2020 接收。
論文標(biāo)題:Bias-based Universal Adversarial Patch Attack for Automatic Check-out
論文鏈接:http://arxiv.org/abs/2005.09257
代碼鏈接:https://github.com/liuaishan/ModelBiasedAttack
基于模型偏見的對抗攻擊
本文提出的對抗補丁生成框架具有較好的泛化能力,能夠有效的攻擊模型訓(xùn)練過程中“不可見”的物品種類,通過在真實世界系統(tǒng)中的測試和驗證,驗證了其有效性。
其主要框架如下圖所示,通過利用模型固有的感知偏見從難樣本中提取先驗補丁塊,并進行融合處理以獲得更好的泛化攻擊能力。在此基礎(chǔ)上,生成包含豐富語義信息的類原型幫助訓(xùn)練對抗補丁,以獲得對抗補丁生成效率上的提升。
▲ 圖2 基于偏見的通用對抗補丁生成框架
基于感知偏見的先驗補丁生成
基于感知偏見的先驗補丁首先基于多個難樣本生成融合樣本。難樣本是指模型難以正確分類和識別的樣本且在數(shù)據(jù)集中普遍存在,被模型錯分的難樣本顯然離正確的分類區(qū)域更遠,也即是更容易跨越模型的決策邊界導(dǎo)致模型分類錯誤,利用難樣本的特征進行攻擊如同“站在巨人的肩膀上”。
而已有的研究證明了,神經(jīng)網(wǎng)絡(luò)模型的判斷更多依賴于紋理信息(texture),這也被認為是一種模型在感知上的偏見,為了利用這一客觀性質(zhì)進行對抗攻擊,進一步的,本論文通過引入風(fēng)格損失提取這類感知偏見,以增強融合樣本的泛化攻擊能力:
為了增強融合樣本的不確定性,引入了類的不確定損失:
最終,在先驗補丁生成環(huán)節(jié),優(yōu)化如下的融合損失:
融合后的樣本具備更強的不確定性和泛化能力,基于此,作者通過使用一個注意力模塊來提取最終先驗補丁塊:
其中融合樣本中每個像素點的權(quán)重計算如下:
?
基于語義偏見的類原型訓(xùn)練
由于具有通用性的對抗性擾動的生成策略大多需要大量的訓(xùn)練數(shù)據(jù),這極大的增加了各種意義上的訓(xùn)練開銷,降低了對抗樣本的可攻擊性。為了減輕對大量訓(xùn)練數(shù)據(jù)的依賴,本文進一步引入了基于語義偏見的類原型。
類原型是一種包含數(shù)據(jù)集中某一類語義信息的典型表示,其代表了某一類別的深層特征,對模型而言,這種類原型會使得模型產(chǎn)生語義上的“偏見”,通過引入類原型,可以訓(xùn)練對抗補丁利用這種固有的語義上的偏見實現(xiàn)對模型的欺騙行為。
其中類原型的目標(biāo)函數(shù)如下:
考慮到對抗補丁在現(xiàn)實中的環(huán)境適應(yīng),論文還引入了轉(zhuǎn)換模塊已獲得更強的物理世界攻擊性。由此,得到整個框架的訓(xùn)練流程:
實驗結(jié)果:AI零售仍然有很長一段路要走
?
首先,論文的數(shù)字世界實驗在目前為止最大的零售 ACO 任務(wù)數(shù)據(jù)集上進行了白盒攻擊實驗和黑盒攻擊實驗,驗證了所提出的框架生成的對抗補丁的有效性。
4.1 數(shù)字世界攻擊
如下圖所示,在白盒攻擊的條件下,論文基于 ResNet-152 為 backbone 模型進行實驗,并在相同的 backbone 下與其他方法進行對比,結(jié)果顯示,本論文提出的方法攻擊后的準確率降為 5.42%,遠遠低于對比方法的準確率。
在黑盒攻擊的條件下,論文在 ResNet-152 為 backbone 的條件下進行訓(xùn)練,攻擊不同的模型(VGG-16、AlexNet、ResNet-101),同樣達到了最好的水平(top-1 accuracy下)。
4.2 真實世界攻擊
真實世界攻擊基于兩種在線購物平臺(淘寶和京東)進行,在所有的 4 個種類 80 張真實世界貨物的照片中,分別只有 56.25% 和 55% 被成功識別,而在不加對抗補丁的條件下,準確率分別為 100% 和 95%,如下圖樣例所示,牛奶被識別為鋁箔,水杯被識別為裝飾品:
展望
計算機視覺技術(shù)的進步極大的推動了人工智能浪潮,視覺技術(shù)正在我們的生活中產(chǎn)生巨大的應(yīng)用價值,也展現(xiàn)出了巨大的發(fā)展?jié)摿?#xff0c;人臉識別、自動駕駛、行人檢測、視頻安防等領(lǐng)域的諸多成果無不昭示著技術(shù)給我們帶來的便利。
AI 零售被認為是下一個人工智能應(yīng)用落地的領(lǐng)域之一,計算機視覺應(yīng)用于這一領(lǐng)域不僅能夠提升結(jié)算效率,同時能夠極大的節(jié)省成本。
然而面臨著對抗樣本的攻擊,基于計算機視覺的自動零售系統(tǒng)暴露出了極大的安全隱患,面對這種風(fēng)險,AI 自動零售還能更順利的走下去嗎?
我們應(yīng)當(dāng)以更加慎重的態(tài)度和更加挑剔的眼光審視人工智能系統(tǒng),重視安全人工智能與可解釋深度學(xué)習(xí)技術(shù)的發(fā)展,用積極的心態(tài)擁抱技術(shù),用更周全的思維發(fā)展技術(shù),讓人工智能技術(shù)更好的造福人類。
?
作者及團隊介紹
劉艾杉,北京航空航天大學(xué)計算機學(xué)院博士三年級在讀,主要研究方向為對抗樣本、深度學(xué)習(xí)魯棒性、人工智能安全性,已在 ECCV、AAAI、IJCAI 等國際頂級人工智能與計算機視覺會議發(fā)表多篇論文,并擔(dān)任多個國際會議及期刊審稿人(如:ACMMM,IJCAI,IEEE TIP等)。?
王嘉凱,北京航空航天大學(xué)博士二年級在讀,研究方向為對抗樣本生成,深度學(xué)習(xí)魯棒性與安全性,已有研究成果在 ECCV 發(fā)表。?
劉祥龍,北京航空航天大學(xué)副教授,主要研究方向為大數(shù)據(jù)檢索、大規(guī)模視覺分析、可信賴深度學(xué)習(xí)等,已在 CVPR、ICCV、AAAI 等國際頂級人工智能與計算機視覺會議和 IEEE TIP 等國際重要 SCI 期刊上發(fā)表論文 100 余篇,擔(dān)任多個重要的國際會議或者期刊評審和領(lǐng)域主席,入選北京市科技新星計劃和 CCF 青年人才發(fā)展計劃等。
更多閱讀
#投 稿?通 道#
?讓你的論文被更多人看到?
如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達讀者群體,縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢?答案就是:你不認識的人。
總有一些你不認識的人,知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁,促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞,迸發(fā)出更多的可能性。?
PaperWeekly 鼓勵高校實驗室或個人,在我們的平臺上分享各類優(yōu)質(zhì)內(nèi)容,可以是最新論文解讀,也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個,讓知識真正流動起來。
?????來稿標(biāo)準:
? 稿件確系個人原創(chuàng)作品,來稿需注明作者個人信息(姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向)?
? 如果文章并非首發(fā),請在投稿時提醒并附上所有已發(fā)布鏈接?
? PaperWeekly 默認每篇文章都是首發(fā),均會添加“原創(chuàng)”標(biāo)志
?????投稿郵箱:
? 投稿郵箱:hr@paperweekly.site?
? 所有文章配圖,請單獨在附件中發(fā)送?
? 請留下即時聯(lián)系方式(微信或手機),以便我們在編輯發(fā)布時和作者溝通
????
現(xiàn)在,在「知乎」也能找到我們了
進入知乎首頁搜索「PaperWeekly」
點擊「關(guān)注」訂閱我們的專欄吧
關(guān)于PaperWeekly
PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學(xué)術(shù)平臺。如果你研究或從事 AI 領(lǐng)域,歡迎在公眾號后臺點擊「交流群」,小助手將把你帶入 PaperWeekly 的交流群里。
總結(jié)
以上是生活随笔為你收集整理的ECCV 2020 | 智能自动零售可行吗?AI安全应引起广泛关注!的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 苹果 watchOS 11.1 开发者预
- 下一篇: 戴尔燃怎么u盘启动 戴尔燃U盘如何启动