本博客系博主根據(jù)個人理解所寫，非逐字逐句翻譯，預知詳情，請參閱論文原文。

論文標題：Anti-Forgery: Towards a Stealthy and Robust DeepFake Disruption Attack via Adversarial Perceptual-aware Perturbations ；

作者：Run Wang1,2, Ziheng Huang1,2, Zhikai Chen3, Li Liu4 , Jing Chen1,2, Lina Wang1,2,5；?

School of Cyber Science and Engineering, Wuhan University, China；

Key Laboratory of Aerospace Information Security and Trusted Computing, Ministry of Education,China；

Tencent Zhuque Lab；

Fudan Development Institute, Fudan University, China；

Zhengzhou Xinda Institute of Advanced Technology；

發(fā)表地點：IJCAI 2022；

論文下載鏈接：https://arxiv.org/abs/2206.00477v1

代碼鏈接：GitHub - AbstractTeen/AntiForgery

摘要

深度造假（DeepFake）正成為社會的真實風險，并且給個人隱私和政治安全帶來潛在的威脅，因為深度偽造的多媒體信息非常真實且容易讓人相信（realistic and convincing）。

然而，現(xiàn)有的被動型深度造假檢測器（passive DeepFake detection）是一種事后的（ex-post）應對措施，無法提前阻止虛假信息的傳播。

為了解決上述問題，研究者們探索了主動型（proactive）的防御技術來打斷deepfake的篡改，通過向原始數(shù)據(jù)（source data）添加對抗噪聲（adversarial noises）。但是最近的研究MagDR指出，現(xiàn)有的添加對抗噪聲的主動型deepfake防御方法不夠魯棒，通過采用簡單的圖像重構（image reconstruction）就可以繞開這些噪聲。

因此，本文探索了現(xiàn)有造假技術的弱點，并提出了anti-forgery技術來幫助用戶保護他們的臉部圖像，以免受到造假者的攻擊。

本文提出的方法以一種不間斷的方式（incessant manner）生成感知敏感的擾動（perceptual-aware perturbations），與之前的添加稀疏對抗噪聲的工作非常不同。實驗表明本文的感知敏感的擾動對不同的圖像變換是魯棒的，尤其是對MagDR[1]的通過圖像重構的競爭規(guī)避技術。本文的發(fā)現(xiàn)為保護臉部圖像對抗DeepFake開辟了一個新的研究方向，以一種主動和魯棒的方式，深入理解和探索感知敏感的對抗攻擊。

本文動機及現(xiàn)有方法的問題：

• 隨著GAN在圖像合成（image synthesis），細粒度圖像篡改（fine-grained image manipulation）方面的進展，DeepFake也飛速發(fā)展。DeepFake就是攻擊者利用GAN生成逼真自然的合成圖像，音頻或者視頻，這些合成的東西給個人隱私和安全帶來了很大的威脅。因此，急需有效的對抗DeepFake手段。
• 現(xiàn)有對抗DeepFake的措施可分為被動型（passive）和主動型（proactive），但是它們都還處于早期探索階段，沒有發(fā)展地很成熟。
• 被動型方法是一種事后（ex-post）的防御方式，只能判斷一個合成的DeepFake是真是假。更重要的是，現(xiàn)有的該類方法對于以未知手段合成的DeepFake是很難處理的（比如不是用GAN-based方法合成的DeepFake）。
• 因此，研究者們開始探索主動型防御技術，通過向原始圖像（source image）添加對抗噪聲來打斷DeepFake的生成過程。但是現(xiàn)有的添加對抗噪聲的主動型防御技術很難應對不同的輸入變換（input transformations），而且很容易被檢測出來并且被消除，因此限制了這些技術的實際應用。
• 現(xiàn)有主動型防御技術在針對4種主要的DeepFake攻擊（entire synthesis,?attribute editing,??dentity swap, and face reenactment）方面的有效性尚不清楚，許多防御技術只能針對某1，2種DeepFake攻擊，因此不夠實用。

被動型，主動型概念補充：

這一部分在文章第3章 Problem Statement介紹，可以先看這個再看文章，理解了這兩個概念才能看明白本文到底說的是什么。

以用戶A發(fā)布一個推文為例，該推文有一張A自己的臉部圖像 S，DeepFake的攻擊過程可能為：

用戶A將圖像 S?發(fā)布到推特上；

DeepFake攻擊者看到了圖像 S，使用GAN-based DeepFake模型對其進行惡意篡改（比如丑化等），然后將篡改后的圖像 F?發(fā)布在推特上；

其他不知情的用戶看到了篡改后的圖像 F 以為是用戶A的真實照片（損害了用戶A的權益）。

被動型DeepFake防御方法：對已經(jīng)被攻擊者合成好的DeepFake內容（比如image，audio，video等），被動型防御方法僅能夠檢測這些內容是真是假。

比如上述例子中的篡改后圖像 F，被動型方法在第2步之后，發(fā)現(xiàn)了 F 并判斷出 F 是DeepFake，于是阻止它的進一步傳播。但是該圖像 F已經(jīng)在網(wǎng)上傳播了一段時間，并且損害了用戶A的權益。

主動型DeepFake防御方法：通過向原始圖像添加某些特征，來打斷DeepFake的生成過程。

比如上述例子中，用戶在發(fā)布圖像 S 之前，使用主動型防御方法作用于圖像 S ，得到防御性圖像 S+（該防御性圖像在視覺上與 S 一樣，人眼無法看出區(qū)別）。然后用戶將 S+ 發(fā)布到推特上（這種情況下，在網(wǎng)上傳播的用戶臉部圖像只有 S+，?沒有原始圖像 S ）。

DeepFake的攻擊者想要惡意篡改圖像 S+，于是將GAN-based DeepFake模型作用于 S+，結果無法生成逼真的篡改后的圖像（S+中添加的某些特征，導致DeepFake模型失效），生成出來的圖像人們一眼就能看出是假的。

因此，DeepFake攻擊者無法惡意篡改用戶A的臉部圖像，也無法傳播篡改后的圖像。該類主動型的方法能夠有效阻止DeepFake內容的傳播，從源頭上解決了DeepFake問題。

本文主要貢獻

• 本文提出了anti-forgery方法，通過添加對抗感知敏感的擾動，以一種主動的方式應對DeepFake問題。與以前的主動型方法（它們向原始圖像中添加無意義且稀疏的噪聲）相比，本文方法使用連續(xù)自然的方式轉換臉部圖像，對于不同的輸入轉換更加魯棒（也就是能應對各種DeepFake的操作）。
• 本文采用了一種簡單有效的方法生成感知敏感的擾動，能生成視覺上自然的臉部圖像（就是讓防御性圖像 S+ 更真實，不會破壞原始圖像的視覺特性），同時能夠對抗和打斷DeepFake的攻擊（就是讓S+包含一些特征，能夠使DeepFake失效）。
• 本文對三類DeepFake技術都進行了實驗，來證明本文方法確實使DeepFake之后的內容有明顯的假的特征（noticeable artifacts），并且能夠在input reconstruction下仍然有效，具有魯棒性。
• 本文的研究發(fā)現(xiàn)為DeepFake的防御開啟了一個新的研究方向，通過探索針對不同變換的自然的魯棒性的擾動，來實施感知敏感的對抗攻擊。作者希望能有更多的研究來探索GAN在圖像合成方面的弱點，以此來發(fā)展主動型對抗DeepFake的方法。

本文模型及方法

由于主動型模型相當于是給原始圖像加了一層保護（個人理解），所以本文提出主動型模型create出的image應該滿足下面條件：

• 視覺上對于人類和真實image沒有區(qū)別，因為不能影響正常的image功能；
• 能夠應對輸入變換，因為攻擊者會對image進行多種變換處理再DeepFake它；
• 可以應對多種類型的deepfake生成器，因為攻擊方式多樣。

4.2 對抗攻擊

給定輸入圖像x，是本文添加的擾動，是添加了擾動之后的圖像，一個DeepFake攻擊者會使用DeepFake的模型（這里以CycleGAN為例）來生成一個x的假圖像，G就是生成器，用來得到篡改后的圖像。那么理想情況下，本文的目的就是讓DeepFake生成出來的假圖像G()包含非常明顯的人眼可見的錯誤（因此使得DeepFake失效）。所以目標函數(shù)就是：

??

其中 r=G(x)是groundtruth（就是原始的圖像經(jīng)過DeepFake攻擊之后得到的篡改圖像），L()是一個度量相似性的距離函數(shù)。上述公式的目的就是在添加的擾動盡量小的情況下（盡量小），使得添加擾動之后的圖像，以及原始圖像x，在被DeepFake攻擊之后得到的篡改圖像G() 和?G(x) 盡可能不同（比如，原始圖像的篡改圖像G(x)很真 ，而添加擾動的圖像被篡改之后得到的圖像?G()很假）。這樣就說明本文添加的擾動，能夠對于DeepFake的攻擊起到打斷作用。

4.3 Lab Color Space

與RGB顏色表示相比（三個通道），Lab有一個光線通道L和兩個顏色通道a和b。最簡單的情況下，可以只改變L通道的數(shù)值來實現(xiàn)對圖像的改變，所以Lab color space的表示很高效。本文通過在a和b兩個通道上添加擾動來實現(xiàn)對圖像的添加擾動。

4.4 本文Anti-forgery 方法

本文方法整體過程如下圖算法1所示。（我個人沒怎么看懂這部分，o，M是什么沒有搞明白，所以在這里將文中的說法搬過來了，大家自行查看原文理解吧 TAT）

作者首先將圖像從RGB轉到Lab Color Space，然后添加擾動，得到圖像，再轉回RGB格式 x_adv 進行后續(xù)處理。c是不同的面部特征標簽。M是代理模型。目標函數(shù)如下：

?L()可以是L1或者L2正則，目標o可以是0，1或者高斯噪聲。

實驗

5.1 有效性評估

本文針對三種DeepFake攻擊進行了實驗，分別是 attribute editing, identity swap, and?face reenactment。本文選擇的DeepFake攻擊模型有StarGAN, AttGAN, and Fader Network，都是可作為現(xiàn)有SOTA的GAN-based DeepFake模型（說明它們的造假能力夠強）。

結果如下表所示，實驗表明本文提出的方法（下表最右邊的our method）在打斷DeepFake攻擊方面與其他方法（PGD，C&W）相比取得了不錯的結果。下述四個評估指標，L2和ASR較大則說明引入了較大的失真（distortion），PSNR和SSIM較小說明引入了較大的corruption。（DeepFake防御模型能夠讓DeepFake模型生成的假圖越假，包含越多的失真，說明防御模型越好）

?5.2 魯棒性分析

本節(jié)分析本文模型應對常見的輸入轉換（input transformations）的效果，包括JPEG壓縮，高斯模糊，重建等（JPEG compression, Gaussian Blur, reconstruction）。由于社交網(wǎng)絡上傳播的圖像經(jīng)常面臨各種壓縮，模糊等損壞，而MagDR的研究表明，以前的DeepFake打斷方法無法應對這些損壞，且很容易被一些簡單的重構識別出這些方法添加的對抗噪聲（導致打斷目的失效）。因此本文做了這個實驗，用于說明本文模型能解決上述問題。

結果如下表所示，可以看出本文方法在對應各種輸入轉換方面，表現(xiàn)非常好。

最近的一篇文章MagDR發(fā)現(xiàn)現(xiàn)有的打斷DeepFake的方法對于input reconstruction不魯棒。所以本文測試了本文的方法是否能夠應對這個情況。

結果如下表所示，SSIM（I）代表添加了擾動的輸入，SSIM（O）代表使用DeepFake篡改SSIM（I）之后的輸出?？梢钥闯鰧τ赟SIM（I），就是添加了擾動的輸入，本文的方法比PGD擁有更少的擾動，但是在經(jīng)過MagDR之后反而留下了更多的擾動，這說明本文的方法更能對抗后續(xù)的DeepFake攻擊。從下表看出，MagDR不能破壞本文打斷DeepFake的能力。

?5.3 討論

本文方法有一個limit，添加的擾動是作用于整張圖的，容易被crop背景攻擊。所以未來要考慮將擾動作用于圖像的internal region來對抗這種攻擊。

總結和展望

本文為主動型DeepFake對抗工作展示了一個新的方向。未來會進一步探索更能多的物理場景來保護圖像不被DeepFake。

個人理解及問題

博主剛看到DeepFake相關的研究，對于該領域完全不熟悉，如果上述理解有錯誤的地方，歡迎大家批評指正。但是感覺這個領域最近幾年發(fā)展很快，研究也很有意義，感興趣的同學可以試試看。

文中的方法部分沒有看明白，尤其是公式3，其中o和M分別代表什么呢？公式3和公式2的區(qū)別和聯(lián)系是什么？究竟哪個才是本文最終的優(yōu)化目標啊。如果各位同學有明白的，希望不吝賜教，非常感謝。

參考文獻

[1] Zhikai Chen, Lingxi Xie, Shanmin Pang, Yong He, and Bo Zhang. Magdr: Mask-guided detection and reconstruction for defending deepfakes. In CVPR, pages 9014–9023, 2021.

總結

以上是生活随笔為你收集整理的【论文阅读】Anti-Forgery: Towards a Stealthy and Robust DeepFake Disruption Attack viaAdversarial Percept的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。