GAN勢如破竹地被Goodfellow提出，Goodfellow師從Bengio，2014年的這一篇Generative Adversarial Nets的發(fā)表也是第一次GAN被完整的提出來。

論文翻譯：https://m.2cto.com/kf/201610/552124.html

Goodefellow2016于NIPS上的演講：https://channel9.msdn.com/Events/Neural-Information-Processing-Systems-Conference/Neural-Information-Processing-Systems-Conference-NIPS-2016/Generative-Adversarial-Networks

Goodefellow2016于NIPS上的演講譯文：https://ask.julyedu.com/question/7664

目錄

1、背景

2、文章脈絡(luò)

3、模型架構(gòu)

4、具體理解：

1）問題和動(dòng)機(jī)：

2）解決方法：https://blog.csdn.net/on2way/article/details/72773771

3）實(shí)驗(yàn)：

4）結(jié)論：

5）未來展望：

5、分析

---

1、背景

GAN的提出緣起于Goodfellow慶祝他的一個(gè)朋友博士學(xué)習(xí)結(jié)束，酒后飯桌上大家提及想要“試圖用數(shù)學(xué)方法確定進(jìn)入圖片的所有內(nèi)容，將這些統(tǒng)計(jì)信息輸入一臺機(jī)器，以便它可以自己創(chuàng)建照片”。然而Goodfellow卻認(rèn)為這是不可能人為完成的，因?yàn)橐y(tǒng)計(jì)的量太多，沒人能全部記下來，但是神經(jīng)網(wǎng)絡(luò)可以教會(huì)機(jī)器如何建立逼真的圖片。

一些知識：

深度玻爾茲曼機(jī)：https://blog.csdn.net/u014314005/article/details/80583475

GSN生成隨機(jī)網(wǎng)：https://baike.baidu.com/item/%E7%94%9F%E6%88%90%E9%9A%8F%E6%9C%BA%E7%BD%91%E7%BB%9C/22800088?fr=aladdin? &&?https://blog.csdn.net/zhq9695/article/details/86688525

變分自編碼器（VAEs）：https://spaces.ac.cn/archives/5253

噪聲對比估計(jì)（NCE）：https://blog.csdn.net/littlely_ll/article/details/79252064

PM模型：PM模型與GAN有一些爭議，主要是PM的作者在NIPS2016大會(huì)上直接懟了Goodfellow，但其實(shí)Goodfellow在2014第一次以論文形式提出GAN時(shí)就已經(jīng)在文中說明了PM模型與GAN的區(qū)別，好吧，我就附上從PM到GAN的一篇帖子——https://blog.csdn.net/omnispace/article/details/77790500

另外，附上Goodfellow關(guān)于GAN的一些問答：https://baijiahao.baidu.com/s?id=1595081179447191755&wfr=spider&for=pc

GAＮs介紹：https://www.cntofu.com/book/85/dl/gan/gan.md

---

2、文章脈絡(luò)

Introduction——>Related work——>Adversarial nets——>Theoretical Results——>Experiments——>Advantages and disadvantages——>Conclusions and future work

---

3、模型架構(gòu)

整個(gè)目標(biāo)函數(shù)其實(shí)就是一個(gè)最小最大化博弈：

---

4、具體理解

1）問題和動(dòng)機(jī)：

判別模型和生成模型是深度學(xué)習(xí)領(lǐng)域的兩大模型。然而判別模型已經(jīng)研究的較好（由于反向傳播、dropout、relu激活函數(shù)的出現(xiàn)），生成模型卻由于概率計(jì)算困難（最大似然估計(jì)計(jì)算難）加上不好使用relu函數(shù)，使其發(fā)展較為緩慢。于是本文提出一種生成模型來避開或解決這些問題。

有了生成模型?；蛟S我們就可以生成一些數(shù)據(jù)集；可以學(xué)習(xí)已知數(shù)據(jù)的概率分布，從而為無監(jiān)督學(xué)習(xí)提供新的方向

詳細(xì)動(dòng)機(jī)Goodfellow在2016NIPS大會(huì)上在第一部分做出了詳細(xì)報(bào)告。2016NIPS

前人工作：

玻爾茲曼機(jī)是一種比較成功的生成模型，由于配分函數(shù)Z難以處理，必須用最大似然梯度來處理。

GSN（Generative stochastic networks生成隨機(jī)網(wǎng)）不用大量來自玻爾茲曼機(jī)的近似而用反向傳播訓(xùn)練生成網(wǎng)絡(luò)，該方法進(jìn)一步消除了馬爾科夫鏈（？）。

VAEs（variable auto-encoders變分自編碼器）中的編碼器不是用來編碼的，是用來算均值和方差的。文章中寫到：與對抗的生成網(wǎng)絡(luò)相似，變分自編碼器為可微分的生成網(wǎng)絡(luò)配對第2個(gè)網(wǎng)絡(luò)。與對抗的生成網(wǎng)絡(luò)不同的是，VAE 中的第2個(gè)網(wǎng)絡(luò)是一個(gè)使用近似推理的識別模型。GANs 要求對可見單元微分，故不能對離散數(shù)據(jù)建模。而 VAEs 要求對隱含單元微分，因而不能對離散的潛在變量建模（？）。

NCE（noise -contrastive estimation噪聲對比估計(jì)）通過學(xué)習(xí)該模型的權(quán)重來訓(xùn)練生成模型，用之前訓(xùn)練好的模型作為噪聲分布，提高了訓(xùn)練一系列模型的質(zhì)量。NCE 是本質(zhì)上與對抗的網(wǎng)絡(luò)游戲中的正式競爭相似的一種非正式競爭機(jī)制。NCE 關(guān)鍵的局限為它的“判別器”是由噪聲分布和模型分布的概率密度比重來定義，從而要求評估和反向傳播兩個(gè)概率密度。

PM模型（predictability minimization可預(yù)見性最小化）與GAN相關(guān)性最大，但是其二者有著本質(zhì)區(qū)別：1) 本文工作中，網(wǎng)絡(luò)間的競爭是唯一的訓(xùn)練標(biāo)準(zhǔn)，足以訓(xùn)練網(wǎng)絡(luò)?？深A(yù)測性最小化僅是鼓勵(lì)神經(jīng)網(wǎng)絡(luò)中隱含單元在完成其它任務(wù)的同時(shí)，統(tǒng)計(jì)上也相互獨(dú)立的一個(gè)正則項(xiàng)；競爭并不是主要的訓(xùn)練標(biāo)準(zhǔn)。2) 競爭的本質(zhì)不同?？深A(yù)測性最小化中，兩個(gè)網(wǎng)絡(luò)的輸出相互比較，一個(gè)網(wǎng)絡(luò)試圖使輸出相似，而另一個(gè)網(wǎng)絡(luò)試圖使輸出不同；輸出為標(biāo)量。GANs 中，一個(gè)網(wǎng)絡(luò)生成一個(gè)豐富的高維向量來作為另一個(gè)網(wǎng)絡(luò)的輸入，并嘗試選擇使另一個(gè)網(wǎng)絡(luò)不知如何判別的向量為輸入。3) 學(xué)習(xí)過程不同?？深A(yù)測性最小化被描述為一個(gè)最小化目標(biāo)函數(shù)的優(yōu)化問題，學(xué)習(xí)去逼近目標(biāo)函數(shù)的最小值。GANs 基于最大最小游戲，而不是一個(gè)優(yōu)化問題，且一個(gè) Agent 尋求最大化值函數(shù)，另一個(gè) Agent 尋求最小化值函數(shù)。游戲在鞍點(diǎn)處終止，此處是關(guān)于一個(gè) Agent 的策略的最小值，和關(guān)于另一個(gè) Agent 的策略的最大值。

2）解決方法：https://blog.csdn.net/on2way/article/details/72773771

我們將最小最大化函數(shù)看作兩部分，先優(yōu)化Ｄ，再優(yōu)化G，本質(zhì)上是兩個(gè)優(yōu)化問題。開始時(shí)給生成網(wǎng)絡(luò)一個(gè)隨機(jī)噪聲，生成假數(shù)據(jù)集，然后用假數(shù)據(jù)集和真數(shù)據(jù)集去訓(xùn)練判別網(wǎng)絡(luò)，將訓(xùn)練好的判別網(wǎng)絡(luò)原模原樣搬下來接在生成假數(shù)據(jù)集的生成網(wǎng)絡(luò)后面，用剛剛生成的假數(shù)據(jù)集當(dāng)作真數(shù)據(jù)集（將標(biāo)簽由０變?yōu)?#xff11;）來訓(xùn)練搬下來的這個(gè)網(wǎng)絡(luò)，對生成網(wǎng)絡(luò)的訓(xùn)練實(shí)際上是對生成－判別網(wǎng)絡(luò)串接的訓(xùn)練。

文中第四部分是對這個(gè)目標(biāo)函數(shù)以及算法這么優(yōu)化是有根據(jù)的、合理的一些證明以及說明。

3）實(shí)驗(yàn)：

在數(shù)據(jù)集 MNIST，Toronto Face Database 和 CIFAR-10 上訓(xùn)練對抗的生成網(wǎng)絡(luò)。生成器用 ReLU 與 Sigmoid 激活單元的混合，而判別器用 maxout 激活單元。訓(xùn)練判別網(wǎng)絡(luò)時(shí)用 Dropout。雖然理論框架可在生成器的中間層用 Dropout 和其它噪聲，但這里僅在生成網(wǎng)絡(luò)的最底層用噪聲輸入。

? ? ? ? ? ? ? ? ? ? ? ?

4）結(jié)論：

根據(jù)實(shí)驗(yàn)生成的圖片不敢說比其他算法生成的圖片要好，但是可以看出GAN存在一定 的潛力。

　這個(gè)框架和先前的模型相比有優(yōu)點(diǎn)也有缺點(diǎn)。缺點(diǎn)主要在于pg(x)pg(x)沒有明確表示，并且在GG訓(xùn)練期間DD必須很好地同步(尤其，沒有更新DD的時(shí)候，GG一定不能訓(xùn)練的太多，防止“the Helvetica scenario”即GG將太多的z值折疊到x來有足夠的多樣性來模擬pdatapdata)，正如一個(gè)玻爾茲曼機(jī)的負(fù)鏈必須在學(xué)習(xí)步驟之間保持最新。優(yōu)點(diǎn)是不需要馬爾科夫鏈，僅僅使用反向傳播獲得梯度，在學(xué)習(xí)期間也不需要推理，并且將多種函數(shù)合并到模型。表2總結(jié)了生成對抗網(wǎng)絡(luò)和其它生成模型的比較。?

　上述優(yōu)點(diǎn)主要是計(jì)算。對抗模型也從生成網(wǎng)絡(luò)獲得一些統(tǒng)計(jì)優(yōu)勢，不是直接使用數(shù)據(jù)示例更新，?而是流經(jīng)判別器的梯度。這意味著輸入的組件不是直接復(fù)制到生成器的參數(shù)。另一個(gè)對抗網(wǎng)路的優(yōu)點(diǎn)是它們可以表示非常清晰甚至退化的分布，而基于馬爾科夫鏈的方法要求分布有點(diǎn)模糊以便鏈能夠在模式之間混合。?

5）未來展望：

該框架允許許多直接的擴(kuò)展：
1)?添加c至G和D的輸入，可獲得條件的生成模型p(x|c)。
2)?給定x，為預(yù)測z，訓(xùn)練任意的網(wǎng)絡(luò)可學(xué)習(xí)近似推理。類似于 wake-sleep 算法訓(xùn)練出的推理網(wǎng)絡(luò)，但訓(xùn)練推理網(wǎng)絡(luò)時(shí)可能要用到訓(xùn)練完成后的固定的生成網(wǎng)絡(luò)。
3)?通過訓(xùn)練一組共享參數(shù)的條件模型，可以近似地共享所有條件p(xs|xslashedD)p(xs|xslashedD)，其中SS是xx索引的子集。從本質(zhì)上說，可以使用對抗網(wǎng)絡(luò)來實(shí)現(xiàn)確定性MP-DBM的隨機(jī)擴(kuò)展。
4)?半監(jiān)督學(xué)習(xí)：當(dāng)標(biāo)簽數(shù)據(jù)有限時(shí)，判別網(wǎng)絡(luò)或推理網(wǎng)絡(luò)的特征不會(huì)提高分類器效果。
5)?效率改善：為協(xié)調(diào)G和D設(shè)計(jì)更好的方法，或訓(xùn)練期間確定更好的分布來采樣z，從而加速訓(xùn)練。

---

5、分析

通過閱讀本文，感覺“博弈論”（Game Theory）的思想確實(shí)在現(xiàn)實(shí)生活中具有很大的應(yīng)用價(jià)值。

二元博弈的特點(diǎn)是什么？

　　兩個(gè)具有互斥性的優(yōu)化目標(biāo)或任務(wù)，在博弈的過程中，保持一方不變優(yōu)化另一方，如此交替，動(dòng)態(tài)優(yōu)化自身共同進(jìn)步。兩個(gè)目標(biāo)分別給對方提供一把“尺”作為衡量，博弈過程中，“尺”會(huì)越來越嚴(yán)格，以此形成反饋，最終實(shí)現(xiàn)兩者最優(yōu)。

互斥性體現(xiàn)在哪？

　　兩個(gè)目標(biāo)相反，必定是若一方強(qiáng)，則另一方弱。不可能在優(yōu)化過程中始終保持一強(qiáng)一弱，這樣強(qiáng)的一方就無法得到反饋，從而優(yōu)化自己，所以是交替強(qiáng)弱。若一方強(qiáng)一方弱，則是一方始終在追趕另一方。

極限/最優(yōu)的判斷？

　　生成對抗網(wǎng)絡(luò)的極限在于，生成器生成了和真圖一樣的假圖，使得判別器對于無論來自自然圖像還是生成圖像的輸出都為1/2。

引用Goodfellow在NIPS上的總結(jié)：“GANs相對比較新，仍需要進(jìn)一步研究，特別的，GANs要求在高維、連續(xù)、非凸的策略中找到納什均衡。研究人員應(yīng)該努力發(fā)展出更好的理論依據(jù)和訓(xùn)練算法。GANs對于圖像生成、操縱系統(tǒng)等許多方面都具有重要意義，并有可能在未來應(yīng)用到更廣的領(lǐng)域?！?/p>

總結(jié)

以上是生活随笔為你收集整理的Generative Adversarial Nets——NIPS2014的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。