引言

?$\mathrm{F}\mathrm{G}\mathrm{S}\mathrm{M}$是基于梯度迭代攻擊中生成對抗樣本的開創性工作。我第一次接觸相關工作的時候，給我困惑最多的就是論文中為什么要給梯度加上$\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}$這個符號函數，因為這會導致生成的對抗擾動的方向與最速梯度方向有一個銳角偏移。$\mathrm{I}\mathrm{a}\mathrm{n}\text{?}\mathrm{G}\mathrm{o}\mathrm{o}\mathrm{d}\mathrm{f}\mathrm{e}\mathrm{l}\mathrm{l}\mathrm{o}\mathrm{w}$在斯坦福大學的講座里對梯度符號中加入$\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}$符號給出了一個基于實證的解釋，即在線性假設下，給定一個數據集的樣本，當樣本中對抗擾動分量方向與梯度分量的方向相同的個數如果多余某個常數時，該樣本沿著對抗擾動的方向即可進入到對抗子區域中。這個解釋是在說明加入$\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}$符號后的擾動方向依然具有攻擊性，但從原理上來說這并不是最好的攻擊方向。最近看到了一篇文章，就討論了該問題，論文作者通過原理分析實驗驗證，發現當梯度方向加入$\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}$符號后會使得攻擊效率比較低。論文的代碼鏈接失效，我根據論文中的算法流程圖重新編寫了一下代碼。
論文鏈接：https://arxiv.org/abs/2110.12734

理論分析

?給定一個樣本$x$，其對應的標簽為$y$，損失函數為$\mathcal{L}(x,y)$，其中第$t$步生成的對抗樣本為$x_T^{adv}$。根據多元函數的泰勒展開公式可以得到如下方程組
$$?\begin{array}{rl}\mathcal{L}(x_T^{adv},y)& =\mathcal{L}(x_{T?1}^{adv},y)+(x_T^{adv}?x_{T?1}^{adv})??\mathcal{L}(x_{T?1}^{adv},y)+O(\Vert x_T^{adv}?x_{T?1}^{adv}{\Vert }^2)\\ \mathcal{L}(x_{T?1}^{adv},y)& =\mathcal{L}(x_{T?2}^{adv},y)+(x_{T?1}^{adv}?x_{T?2}^{adv})??\mathcal{L}(x_{T?2}^{adv},y)+O(\Vert x_{T?1}^{adv}?x_{T?2}^{adv}{\Vert }^2)\\ \mathcal{L}(x_{T?2}^{adv},y)& =\mathcal{L}(x_{T?3}^{adv},y)+(x_{T?2}^{adv}?x_{T?3}^{adv})??\mathcal{L}(x_{T?3}^{adv},y)+O(\Vert x_{T?2}^{adv}?x_{T?3}^{adv}{\Vert }^2)\\ ?& \\ \mathcal{L}(x_3^{adv},y)& =\mathcal{L}(x_2^{adv},y)+(x_3^{adv}?x_2^{adv})??\mathcal{L}(x_2^{adv},y)+O(\Vert x_3^{adv}?x_2^{adv}{\Vert }^2)\\ \mathcal{L}(x_2^{adv},y)& =\mathcal{L}(x_2^{adv},y)+(x_2^{adv}?x_1^{adv})??\mathcal{L}(x_1^{adv},y)+O(\Vert x_2^{adv}?x_1^{adv}{\Vert }^2)\\ \mathcal{L}(x_1^{adv},y)& =\mathcal{L}(x_0^{adv},y)+(x_1^{adv}?x_0^{adv})??\mathcal{L}(x_0^{adv},y)+O(\Vert x_1^{adv}?x_0^{adv}{\Vert }^2)\end{array}$$根據以上方程組可以得到如下公式$$\mathcal{L}(x_T^{adv},y)=\mathcal{L}(x,y)+\sum _{t=0}^{T?1}(x_{t+1}^{adv}?x_t^{adv})??\mathcal{L}(x_t^{adv},y)+\sum _{t=0}^{T?1}O(\Vert x_{t+1}^{adv}?x_t^{adv}{\Vert }^2)$$令${\delta }_t=x_{t+1}^{adv}?x_t^{adv}$，$g_t=?\mathcal{L}(x_t^{adv},y)$，進而則有$$\begin{array}{rl}\mathcal{L}(x_T^{adv},y)& =\mathcal{L}(x,y)+\sum _{t=0}^{T?1}{\delta }_t?g_t+\sum _{t=0}^{T?1}O(\Vert {\delta }_t{\Vert }^2)\\ & =\mathcal{L}(x,y)+\sum _{t=0}^{T?1}\Vert {\delta }_t\Vert ?\Vert g_t\Vert ?\cos ?{\delta }_t,g_t?+\sum _{t=0}^{T?1}O(\Vert {\delta }_t{\Vert }^2)\\ & \approx \mathcal{L}(x,y)+\sum _{t=0}^{T?1}\Vert {\delta }_t\Vert ?\Vert g_t\Vert ?\cos ?{\delta }_t,g_t?\end{array}$$假設$x_t^{adv}=\left[x_t^1,x_t^2,?,x_t^D\right]$，$g_t=\left[{?}_{x_t^1},{?}_{x_t^2},?,{?}_{x_t^D}\right]$，且$D=H\times W\times C$。令${\delta }_t=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}(g_t)$，則此時${\delta }_t$和$g_t$的余弦值$\cos {\theta }_t$表示為$$\cos {\theta }_t=\frac{g_t?\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}(g_t)}{\Vert g_t\Vert \Vert \mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}(g_t)\Vert }$$因為$$\begin{array}{rl}{g}_t?\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}(g_t)& ={?}_{x_t^1}?\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}({?}_{x_t^1})+{?}_{x_t^2}?\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}({?}_{x_t^2})+?+{?}_{x_t^D}?\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}({?}_{x_t^D})\\ & =\left|{?}_{x_t^1}\right|+\left|{?}_{x_t^2}\right|+?+\left|{?}_{x_t^D}\right|\\ & ={\Vert g_t\Vert }_1\end{array}$$又因為$\Vert g_t{\Vert }_0=\Vert \mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}(g_t)\Vert \approx D$，在向量所有的$p$范數中1范數是最大的，即$\Vert ?{\Vert }_1\ge \Vert ?\Vert$，此時則有$$\begin{array}{rl}\cos {\theta }_t=\frac{\Vert g_t{\Vert }_1}{\Vert g_t\Vert \Vert \mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}(g_t)\Vert }?& \frac{1}{\sqrt{D}}<\cos {\theta }_t\le 1\end{array}$$進而則有$$1<\Vert {\delta }_t\Vert \cos {\theta }_t\le \sqrt{D}$$令新的對抗擾動為${\delta }_t^{\prime }$，且此時該擾動的方向與梯度方向一致即$$\cos ?{\delta }_t^{\prime },g_t?=\cos {?}_t=1$$為了能夠使得與$\mathrm{F}\mathrm{G}\mathrm{S}\mathrm{M}$的擾動步長$\Vert \mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}(g_t)\Vert$范圍一致，則有$$\zeta =\frac{\Vert \mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}(g_t)\Vert }{\Vert g_t\Vert }$$進而則有$$\begin{array}{rl}& {\delta }_t^{\prime }=\zeta ?g_t\\ ?& \Vert {\delta }_t^{\prime }\Vert =\frac{\Vert \mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}(g_t)\Vert }{\Vert g_t\Vert }?\Vert g_t\Vert =\Vert \mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}(g_t)\Vert \end{array}$$根據以上公式則可以推導出$$\Vert {\delta }_t\Vert \cos {\theta }_t\le \Vert {\delta }_t^{\prime }\Vert \cos {?}_t=\sqrt{D}$$給定$?$的范圍，第$t$步的對抗擾動為$$x_{t+1}^{adv}?x_t^{adv}={\mathrm{c}\mathrm{l}\mathrm{i}\mathrm{p}}_{?}^x\left(x_t^{adv}+\alpha ?{\delta }_t^{\prime }\right)?x_t^{adv}$$$\mathrm{F}\mathrm{G}\mathrm{N}\mathrm{M}$具體的算法流程圖如下所示

實驗結果

?如下圖所示，為原始梯度方向和$\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}$梯度方向的可視化剪頭圖。從下圖發現原始梯度更快更高效收斂到最優點中。然而$\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}$施加到梯度上會使得它推離最優方向，導致要以更多的迭代次數才能達到最優點。

?如下兩圖所示為不同方法的平均攻擊成功率比較。作者使用$\mathrm{I}\mathrm{n}\mathrm{c}?\mathrm{v}3$作為白盒，并計算其它四種黑盒模型($\mathrm{I}\mathrm{n}\mathrm{c}$-$\mathrm{v}4$、$\mathrm{R}\mathrm{e}\mathrm{s}152$、$\mathrm{I}\mathrm{n}\mathrm{c}\mathrm{R}\mathrm{e}\mathrm{s}$和$\mathrm{D}\mathrm{e}\mathrm{n}161$)的平均攻擊成功率，可以發現在各個攻擊迭代方法下，應用論文中的方法會取得更好的效果。

算法實現

from torchvision import datasets, transforms from torch.utils.data import DataLoader, Dataset import torch import torch.nn as nn from torch.autograd import Variable import torch.optim as optim import torch.nn.functional as F import osclass CNN(nn.Module):def __init__(self):super().__init__()self.Sq1 = nn.Sequential( nn.Conv2d(in_channels=1, out_channels=16, kernel_size=5, stride=1, padding=2), # (16, 28, 28) # output: (16, 28, 28)nn.ReLU(), nn.MaxPool2d(kernel_size=2), # (16, 14, 14))self.Sq2 = nn.Sequential(nn.Conv2d(in_channels=16, out_channels=32, kernel_size=5, stride=1, padding=2), # (32, 14, 14)nn.ReLU(), nn.MaxPool2d(2), # (32, 7, 7))self.out = nn.Linear(32 * 7 * 7, 10) def forward(self, x):x = self.Sq1(x)x = self.Sq2(x)x = x.view(x.size(0), -1) output = self.out(x)return outputdef FGM_attack(inputs, targets, net, alpha, epsilon, attack_type):delta = torch.zeros_like(inputs)delta.requires_grad = Trueoutputs = net(inputs + delta)loss = nn.CrossEntropyLoss()(outputs, targets)loss.backward()grad = delta.grad.detach()if type == 'FGSN':zeta = (torch.norm(inputs, p=0, dim=(2,3), keepdim=True) / torch.norm(inputs, p=2, dim=(2,3), keepdim=True)) * torch.ones(inputs.shape)delta.data = torch.clamp(delta + alpha * zeta * grad, -epsilon, epsilon)else:delta.data = torch.clamp(delta + alpha * torch.sign(grad), -epsilon, epsilon)delta = delta.detach()return deltadef main():alpha = 0.2epsilon = 0.5total = 0correct1 = 0correct2 = 0model = CNN()model.load_state_dict(torch.load('model/model.pt'))use_cuda = torch.cuda.is_available()mnist_train = datasets.MNIST("mnist-data", train=True, download=True, transform=transforms.ToTensor())train_loader = torch.utils.data.DataLoader(mnist_train, batch_size= 5, shuffle=True)for batch_idx, (inputs, targets) in enumerate(train_loader):if use_cuda:inputs, targets = inputs.cuda(), targets.cuda()inputs, targets = Variable(inputs), Variable(targets)total += targets.size(0)delta1 = FGM_attack(inputs, targets, model, alpha, epsilon, 'FGNM')adv_image1 = torch.clamp(inputs + delta1, 0, 1)outputs1 = model(adv_image1)_, predicted1 = torch.max(outputs1.data, 1)correct1 += predicted1.eq(targets.data).cpu().sum().item()print('The FGNM accuracy:', correct1, total, correct1/total)delta2 = FGM_attack(inputs, targets, model, alpha, epsilon, 'FGSM')adv_images2 = torch.clamp(inputs + delta1, 0, 1)outputs2 = model(adv_images2)_, predicted2 = torch.max(outputs2.data, 1)correct2 += predicted2.eq(targets.data).cpu().sum().item()print('The FGSM accuracy:', correct2, total, correct2/total)print('The FGNM accuracy:', correct1)print('The FGSM accuracy:', correct2)if __name__ == '__main__':main()

當給定的攻擊步長$\alpha =0.2$，則有如下實驗結果

總結

以上是生活随笔為你收集整理的对抗攻击FGSM的纯粹版FGNS的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。