?PaperWeekly 原創 ·?作者 | 孫裕道

單位 | 北京郵電大學博士生

研究方向 | GAN圖像生成、情緒對抗樣本生成

引言

對抗樣本是深度學習模型的主要威脅之一，對抗樣本會使得目標分類器模型分類出錯并且它存在于稠密的對抗子空間中，對抗子空間又包含于特定的樣本空間中。本文主要是對對抗子空間維數進行探討，即針對于單個模型的特定樣本對抗子空間的維度是多少，針對多個模型的特定樣本對抗子空間的維度是多少。

對抗子空間

給定干凈樣本 ，以及其對應的標簽 ，帶有參數 的神經網絡分類器為 ，損失函數為 ，對抗樣本為 ，則根據多元泰勒展開式可得：

進一步可得優化目標為：

進而可得對抗樣本的計算公式為：

其中 表示的是對抗擾動的大小。由上公式可知，干凈樣本 沿著梯度方向 可以進入到對抗子空間中。進一步詳細的闡述如下圖所示，其中圖 （a），（b）和（c）表示的是給定一個干凈樣本沿著不同的方向生成的樣本輸入到分類器分類的結果示意圖，每個方格表示每一個樣本的分類結果，方格中白色表示分類器分類正確，彩色表示分類器分類成其它不同的類別。圖（d），（e）和 （f）表示樣本移動的方向分解示意圖。

由上圖（d）可知，如果選擇兩個正交方向，一個是對抗擾動的梯度方向，另一個是隨機擾動方向，從圖（a）可知，沿著對抗擾動方向的干凈樣本可以進入到對抗子空間中，沿著隨機擾動的方向則沒有生成對抗樣本。由上圖（e）可知，如果這兩個正交方向與梯度方向成一個角度，則從圖（b）可知這兩個正交方向都可以進入到對抗子空間中，但是卻不是最速方向。由上圖（f）可知，如果這兩個正交方向是都是隨機擾動，從圖（c）可知，干凈樣本都很難進入到對抗子空間中去，該圖出現誤分類的情況與對抗樣本無關，跟模型自身的訓練情況有關。

單模型對抗子空間維數

由上一節對對抗樣本損失函數的多元泰勒展開可以近似有：

其中令 ，。目的是要探究給定一個模型，求解對抗擾動 使得模型損失函數至少增長 得對抗子空間維度的問題，數學表述為：

其中 ，即擾動 屬于 這 個正交向量組成的對抗子空間中， 就是對抗子空間的維度。此時有如下定理成立，詳細證明過程如下所示：

定理1：給定 和，最大對抗子空間維數 的正交向量 滿足 ， 的充要條件是 。

證明：

必要性證明： 已知 和 ，令 ，并且 是正交的，由此可知 。

1. 如果?，則由向量乘積公式可知：

其中， 表示的是向量 和 的余弦值，并且又知道 ，所以有：

進而則有：

2. 如果 ，則先對 進行正交擴充，擴充為：

則可知：

進而可知：

又因為 ，所以有：

因為 ，，所以有：

又因為：

最終有：

充分性證明：

已知 ，令 表示的是 的基向量， 為旋轉矩陣并且有 。

令 ，并且 為旋轉矩陣，所以有：

易知，矩陣 為旋轉矩陣，其滿足：

令向量 ，并且 ，其中 是矩陣 的第 列， 是正交矩陣，進而可知：

證畢！

通過以上的證明可以得到一個非常嚴謹漂亮的結論，即對抗子空間的維度 大小與損失函數增長程度 的平方成反比，這也是很符合直觀理解。增長程度越大，對抗子空間就越往梯度方向坍縮，因為梯度方向是最速方向。

多模型對抗子空間維數

在黑盒模型中，經常會利用到對抗樣本的可遷移性進行攻擊，即利用模型 生成的對抗樣本 ，遷移未知分類模型 中進行攻擊，其主要原因在于針對兩個不同的模型有重疊的對抗子空間，所以才會使得對抗樣本有攻擊的可遷移性。

假定 表示的是樣本 針對模型 的使得其損失函數增長 的對抗擾動； 表示的是樣本 針對模型 的使得其損失函數增長 的對抗擾動。其中 ，即擾動 屬于 這 個正交向量組成的對抗子空間中。其中 ，即擾動 屬于 這 個正交向量組成的對抗子空間中；則此時針對多個模型對抗子空間維度的大小為：

同理根據以上推導思路可以求出 3 個模型以上重疊的對抗子空間的維度。

特別鳴謝

感謝 TCCI 天橋腦科學研究院對于 PaperWeekly 的支持。TCCI 關注大腦探知、大腦功能和大腦健康。

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經驗講解等。我們的目的只有一個，讓知識真正流動起來。

📝?稿件基本要求：

? 文章確系個人原創作品，未曾在公開渠道發表，如為其他平臺已發表或待發表的文章，請明確標注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發送，要求圖片清晰，無版權問題

? PaperWeekly 尊重原作者署名權，并將為每篇被采納的原創首發稿件，提供業內具有競爭力稿酬，具體依據文章閱讀量和文章質量階梯制結算

📬?投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請備注即時聯系方式（微信），以便我們在稿件選用的第一時間聯系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長按添加PaperWeekly小編

🔍

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

·

總結

以上是生活随笔為你收集整理的对抗子空间维度探讨的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。