Rethinking the trigger of backdoor attack
Rethinking the trigger of backdoor attack
https://arxiv.org/abs/2004.04692
本文是關于后門攻擊的論文。本文指出目前的大多數后門攻擊的觸發集都是屬于靜態觸發集(static trigger),也就是說觸發集在訓練過程和測試過程的appearance和located都是相同的,也就是指,觸發模式都是相同的。
這說明一個問題,觸發集的魯棒性會比正常樣本差很多。
可以這樣理解,訓練過程中樣本的數量會很大程度上影響訓練的效果。后門樣本只有一個形式,也就是其訓練數據會很少,導致其泛化性能很差,因為沒有足夠的數據量使其更好地擬合數據。
對輸入的觸發樣本的變換,能夠比較輕易地破壞后門攻擊。
本文基于這種觀點,提出了后門樣本的攻擊——一種空間轉換的方式。想法很簡單,做法也很簡單。
后門攻擊
后門攻擊的步驟可以表示為兩個步驟:
1)生成觸發樣本及對應的觸發標簽, ( x p o i s o n e d , y t a r g e t ) (x_{poisoned},y_{target}) (xpoisoned?,ytarget?)
2)訓練。同時使用良性數據和觸發集的數據。
x p o i s o n e d x_{poisoned} xpoisoned?的生成可以形式化為:
x p o i s o n e d = S ( x ; x t r i g g e r ) = ( 1 ? α ) ? x + α ? x t r i g g e r x_{poisoned}=S(x;x_{trigger})=(1-\alpha)\otimes x+\alpha \otimes x_{trigger} xpoisoned?=S(x;xtrigger?)=(1?α)?x+α?xtrigger?
其中:
α ∈ [ 0 , 1 ] C × W × H \alpha \in [0,1]^{C\times W\times H} α∈[0,1]C×W×H
訓練就是正常的訓練過程,普普通通的交叉熵函數。
不同特征的影響
本文將觸發模式的特征分為位置和外觀。
首先是位置,下圖表示觸發pattern位于不同位置時候的攻擊成功率ASR(attack succes rate),可以看出位置的細微變化就能夠極大地影響到ASR。
另一種變換就是外觀上的差異。初始嵌入的后門模式是128的value,value的取值范圍是0~255.這邊說明圖像的外觀變換能夠一定程度上影響攻擊成功率,但是又不是所有的變化都能夠造成影響,這也是一個值得研究的點。
后門防御
Q:能否通過這種敏感性,來防御靜態觸發集的后門攻擊?
A:可以。這種防御需要移動或者變換后門的trigger。但是實際場景中,用戶可能并不知道trigger的信息,無法精確操作。因此提出了一種基于轉換的防御方式,很暴力啊,就是直接變換整個圖像。
比如對整個圖像進行翻轉或者縮放。
后門防御的攻擊
為了增強水印的魯棒性,很直接的方法就是數據增強。
在訓練過程中自己移動trigger的位置,自己對其增加噪聲,自己縮放。把對手要走的路走完,那么對手就無路可走了。
那么問題來了,對手走的是什么路?
所以說,提高trigger的魯棒性的關鍵就是,如何確定防御者的變換方式和相應的參數。
解決方案是:多做變換。因為并不能確定。當然因為變換存在的可能性是無窮,本文定義了一個變換的集合,以及對應的變換的參數范圍,然后使用一種基于抽樣的方式來進行變換參數組合。
后門防御的攻擊的防御
啊,這個本文沒有。
實驗結果
從圖5可以看出。在standard attack和enhanced attack之間的差異。
明顯來說,enhanced attack 更加地抵抗擾動。
總結
以上是生活随笔為你收集整理的Rethinking the trigger of backdoor attack的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: TSN网络中的Qbu和IEEE 802.
- 下一篇: 下一代Web图像格式:JPEG、JPEG