?PaperWeekly 原創(chuàng) ·?作者?|?孫裕道

學(xué)校?|?北京郵電大學(xué)博士生

研究方向?|?GAN圖像生成、情緒對(duì)抗樣本生成

前言

該論文是關(guān)于 GAN 圖像生成類的文章，并收錄于 CVPR 2021。當(dāng)前 GAN 表現(xiàn)出越來越強(qiáng)的性能，其生成圖像的真實(shí)感也越來越難以與自然圖像區(qū)分開來，但是根植于深度學(xué)習(xí)的黑盒不可解釋性的問題，GAN 也存在這個(gè)問題，即 GAN 中的輸入噪聲如何有方向感的生成真實(shí)樣本。在該論文中作者利用雅可比矩陣對(duì)輸入噪聲進(jìn)行迭代，從而在高度非線性的高維空間中獲得對(duì)圖像生成過程的控制。

該論文中的方法很簡(jiǎn)單，但是其論文提供的思想可以為打開 GAN 模型可操控性的提供了一個(gè)新的思路，非常值得一讀，論文中還提供了相應(yīng)的源碼，感興趣的可以下載下來跑一跑。

論文標(biāo)題：

Hijack-GAN: Unintended-Use of Pretrained, Black-Box GANs

論文鏈接：

https://arxiv.org/abs/2011.14107

代碼鏈接：

https://github.com/a514514772/hijackgan

Hijack-GAN

Hijack-GAN 模型的框架如下所示，該框架可以分為兩部分，圖片的左邊部分訓(xùn)練一個(gè)代理模型，以從預(yù)先訓(xùn)練的模型中提取信息，繞過訪問預(yù)先訓(xùn)練的模型的梯度，圖片的右邊部分表示在梯度的引導(dǎo)下生成可控制性的噪聲向量。

2.1 問題描述

考慮將噪聲 映射到真實(shí)圖像 的生成器 ，以及將圖像 映射到屬性空間 的一個(gè)或多個(gè)任務(wù)模型 。在該論文中作者的目標(biāo)是將在噪聲空間 中找到軌跡 ，使得當(dāng)沿著該路徑遍歷時(shí)，可以逐漸實(shí)現(xiàn) GAN 模型的可控制性，具體的公式如下：

其中 是損失函數(shù)，并且模型的參數(shù)和訓(xùn)練數(shù)據(jù)是不可訪問的，這使得優(yōu)化方法無法直接求解。

2.2 非線性遍歷

在該論文中作者首先訓(xùn)練一個(gè)代理模型來從模型中提取信息，利用數(shù)據(jù)對(duì) 來訓(xùn)練代理模型，使其能夠?qū)⑤斎朐肼曈成涞綄傩钥臻g；為了避開直接訪問梯度，同時(shí)保持了解屬性和噪聲之間的關(guān)系，作者直接計(jì)算代理模型 相對(duì)于輸入噪聲 的雅可比矩陣：

其中 表示代理預(yù)測(cè)的第 個(gè)屬性。矩陣 的每一行向量表示為 ，該屬性表示為相應(yīng)屬性變化最快的方向；鑒于此，作者設(shè)計(jì)了一種算法，在向量 的指導(dǎo)下迭代更新噪聲的位置：

其中 表示為決定更新速度的超參數(shù)，通過反復(fù)計(jì)算以上迭代公式，在每一步中，生成的圖像 中的目標(biāo)屬性將被逐漸修改，盡管 GAN 是黑盒的但仍然能夠?qū)D像生成的進(jìn)行控制。

2.3 正交約束

在許多情況下，圖像屬性可能會(huì)所相互關(guān)聯(lián)的，這意味著如果只沿著迭代等式中最速方向變化，其他非目標(biāo)屬性也會(huì)相應(yīng)發(fā)生變化。為了緩解這個(gè)問題，作者提出了正交約束條件。因?yàn)槊恳恍邢蛄? 表示對(duì)某些屬性影響最大的一個(gè)方向，其目標(biāo)是找到一個(gè)與目標(biāo)方向 有最大內(nèi)積的向量正交于其他非目標(biāo)方向 。其中目標(biāo)函數(shù)和約束條件如下所示：

其中 是求解的最優(yōu)方向向量， 矩陣的每一行由屬性向量 ?組成。?

實(shí)驗(yàn)結(jié)果?

3.1 屬性控制

下圖比較了論文中的方法， 與線性方法在 和 上編輯 4 個(gè)屬性的效果。這三種方法都成功地編輯屬性，但論文中的方法產(chǎn)生的失真要小得多。線性方法無法編輯微笑屬性。與 相比，論文中的方法保留了更多的非目標(biāo)內(nèi)容，這驗(yàn)證了相比而言論文中的迭代方法的更具優(yōu)勢(shì)。

下圖顯示了論文中的方法可以在大多數(shù)屬性上快速改變目標(biāo)屬性，尤其是在罕見的屬性上，如金發(fā)、蒼白的皮膚和狹窄的眼睛這些屬性上。這個(gè)結(jié)果與論文中的假設(shè)一致，即噪聲空間中并非所有屬性都呈線性分布。

如下圖所示，作者可視化了對(duì)稀有屬性的操控，證實(shí)了論文方法的有效性。除了有效的操作之外，還可以看到所有方法的非目標(biāo)屬性在操作過程中都發(fā)生了變化。

下圖分別展示了 和 上的結(jié)果。在 上，論文中的方法很好地保留了非目標(biāo)屬性，并有效地修改了目標(biāo)屬性。在 上，所有的方法都成功地編輯了屬性，而論文的方法看起來更接近輸入。這些結(jié)果表明，論文中約束方法可以有效地編輯目標(biāo)屬性，同時(shí)保留其他屬性。?

下圖顯示所有的方法在幾乎所有的屬性上都達(dá)到了最高的比率，驗(yàn)證了非線性迭代方案不僅提高了屬性操作，而且有助于屬性保存。?

下表給出了 和 的評(píng)估結(jié)果。在無條件設(shè)置中，兩種方法都產(chǎn)生相對(duì)平滑的軌跡。這可以歸因于相對(duì)線性的流形，論文中的方法在條件設(shè)置中大大超過了其它方法，因?yàn)樗梢院芎玫乇Ａ舴悄繕?biāo)屬性，從而導(dǎo)致更平滑的轉(zhuǎn)換。?

下表比較了論文的方法和 魯棒性和誤差?？梢园l(fā)現(xiàn)論文的方法更準(zhǔn)確地逼近基礎(chǔ)函數(shù)。由于迭代方法，即使當(dāng)估計(jì)點(diǎn)遠(yuǎn)離初始點(diǎn)時(shí)，論文的方法也獲得了較低的誤差。

如下圖所示，作者對(duì)偏角和俯角的圖像進(jìn)行平滑插值。當(dāng)迫使姿勢(shì)超過一定程度時(shí)，會(huì)發(fā)生一些偽像或不希望的變化。但利用論文中的框架后，只要它們?cè)陬A(yù)先訓(xùn)練的 GAN 的訓(xùn)練數(shù)據(jù)中是可行的，就可以生成任意姿態(tài)的人臉。

下圖顯示了編輯鼻子和嘴的坐標(biāo)時(shí)的結(jié)果?？梢园l(fā)現(xiàn)有些屬性是高度相關(guān)的，例如嘴部標(biāo)志與微笑高度相關(guān)。為了測(cè)量相關(guān)性，作者另外計(jì)算方向向量之間的余弦相似度相似度越高，說明糾纏度越高。作者分析了嘴部標(biāo)志與微笑的相關(guān)性為 ，以及嘴部標(biāo)志與性別的相關(guān)性 。

?

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識(shí)的人。

總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)術(shù)熱點(diǎn)剖析、科研心得或競(jìng)賽經(jīng)驗(yàn)講解等。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來。

?????稿件基本要求：

? 文章確系個(gè)人原創(chuàng)作品，未曾在公開渠道發(fā)表，如為其他平臺(tái)已發(fā)表或待發(fā)表的文章，請(qǐng)明確標(biāo)注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發(fā)送，要求圖片清晰，無版權(quán)問題

? PaperWeekly 尊重原作者署名權(quán)，并將為每篇被采納的原創(chuàng)首發(fā)稿件，提供業(yè)內(nèi)具有競(jìng)爭(zhēng)力稿酬，具體依據(jù)文章閱讀量和文章質(zhì)量階梯制結(jié)算

?????投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請(qǐng)備注即時(shí)聯(lián)系方式（微信），以便我們?cè)诟寮x用的第一時(shí)間聯(lián)系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長(zhǎng)按添加PaperWeekly小編

????

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結(jié)

以上是生活随笔為你收集整理的CVPR 2021｜可操控的GAN——Hijack-GAN的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。