作者：程程
鏈接：https://zhuanlan.zhihu.com/p/25000523
來源：知乎
著作權歸作者所有。商業轉載請聯系作者獲得授權，非商業轉載請注明出處。

摘要

本文主要包括兩方面內容：首先對GAN的基礎概念與理論基礎進行介紹，并分析了其模型構建原理與優勢等；其次對其在2016年度的主要進展進行梳理和概括，主要包括從模型理論框架到實際應用問題中的相關擴展與改進及其訓練技巧等工作。（以下僅為個人觀點，不當之處歡迎大家批評指正。）

導讀：在剛剛過去的2016，人工智能仍然是科技領域最火爆的話題，如何依靠人工智能改造傳統行業，提高效率、降低成本成為學界業界的共同課題。一些過去被認為只有人類能創造的圖像、文字及語音等，經由GAN模型對樣本的學習，可以由AI代勞，在傳統的圖樣設計行業可以代替水平參差不齊、成本越來越高的設計師，在媒體行業可以將編輯從一些繁瑣重復的資料轉文字工作中解放出來，在創作背景音樂時可以比人類作曲家快千百倍。

（本導讀由線性資本提供）

GAN，全稱為Generative Adversarial Nets，直譯為生成式對抗網絡。它一方面將產生式模型拉回到了一直由判別式模型稱霸的AI競技場，引起了學者甚至大眾對產生式模型的研究興趣，同時也將對抗訓練從常規的游戲競技領域引到了更一般領域，引起了從學術界到工業界的普遍關注。筆者對幾大會議等進行了不完全統計，其中：

ICLR-2017提交論文：45篇產生式模型相關，37篇與對抗訓練相關；

NIPS-2016：在會議大綱中GAN被提及超過120次；同時，會議專門針對“Adversarial Training”組織了一個workshop，收錄了32篇文章，絕大多數與GAN直接相關；此外，正會還收錄了17篇產生式模型相關文章，11篇對抗訓練相關文章；

Arxiv：在Computer Science分類下約有500篇與對抗網絡相關文章，其中絕大多數為2016年的工作；

相信接下來偏重實際應用的CVPR-2017與ICCV-2017也會有一大波視覺上應用和改進GAN的文章來襲......

除了學術圈外，谷歌、Facebook、Twitter、蘋果、OPENAI（GAN作者所在公司）等眾多工業界AI相關的公司也都在今年發表了數量不一的基于GAN的相關研究成果。

那么問題來了，GAN在2014年就被提出，為什么不是在2014年或2015年火爆？為什么是2016呢？個人覺得GAN的對抗訓練理論和它利用這一點來構建產生式模型的概念一直都很吸引人，但它剛提出之時對模型的實際訓練中所遇到的許多問題都還沒有得到很好的解決（當然，現在也仍然有許多問題），但經過2014和2015大半年的醞釀，到15年下半年和16年初就逐漸開始出現許多GAN的訓練技巧總結分享以及對模型本身進行改進的文章，這些都極大地帶動了后續的發展，特別是在數據生成等相關問題中的應用，造就了2016年對于產生式模型以及對抗訓練的研究熱潮。

解讀GAN

一. 基本的GAN模型

1.1 基本框架：

原始GAN模型的基本框架如上圖所示，其主要目的是要由判別器D輔助生成器G產生出與真實數據分布一致的偽數據。模型的輸入為隨機噪聲信號z；該噪聲信號經由生成器G映射到某個新的數據空間，得到生成的數據G(z)；接下來，由判別器D根據真實數據x與生成數據G(z)的輸入來分別輸出一個概率值或者說一個標量值，表示D對于輸入是真實數據還是生成數據的置信度，以此判斷G的產生數據的性能好壞；當最終D不能區分真實數據x和生成數據G(z)時，就認為生成器G達到了最優。

D為了能夠區分開兩者，其目標是使D(x)與D(G(z))盡量往相反的方向跑，增加兩者的差異，比如使D(x)盡量大而同時使D(G(z))盡量小；而G的目標是使自己產生的數據在D上的表現D(G(z))盡量與真實數據的表現D(x)一致，讓D不能區分生成數據與真實數據。因此，這兩個模塊的優化過程是一個相互競爭相互對抗的過程，兩者的性能在迭代過程中不斷提高，直到最終D(G(z))與真實數據的表現D(x)一致，此時G和D都不能再進一步優化。

我們若對這個過程直接建模，應當是如下的minimax問題（我將其稱為樸素minimax問題）：

但是，原文[1]中的目標函數卻為如下形式：

可以看到，GAN的目標函數與樸素minimax問題相比，主要多了三個變化：

(1) 加入了求對數操作：求對數的操作在理論上并不會影響最終收斂到的最優值，但對數算子的變換可以緩解數據分布偏差問題，比如減少數據分布的單邊效應的影響，減少數據分布形式上的波動等，同時在實際的程序實現中，對數算子也可以避免許多數值問題，因此成為統計學中的常用做法，比如在許多問題中我們并不直接求最大似然，而是去求最大對數似然也是類似的原因；

(2) 加入求期望的操作：這一點是由于我們的最終目的是希望生成數據的分布Pg(G(z))能夠與真實數據的分布Pdata(x)一致，換句話說，相當于在數據量無限的條件下，通過擬合G(z)得到的分布與通過擬合x得到的分布盡量一致，這一點不同于要求各個G(z)本身和各個真實數據x本身相同，這樣才能保證G產生出的數據既與真實數據有一定相似性，同時又不同于真實數據；

(3) -D(G(z))變成了1-D(G(z))：直觀上來說，加了對數操作以后，要求logf的f必須是正數，所以不能直接用-D(G(z))，這一點并不影響最終的最優解。

1.2 理論保證：GAN除了提供了一種對抗訓練的框架外，另一個重要貢獻是其收斂性的理論證明。

作者通過將GAN的優化過程進行分解，從數學推導上嚴格證明了：在假設G和D都有足夠的capacity的條件下，如果在迭代過程中的每一步，D都可以達到當下在給定G時的最優值，并在這之后再更新G，那么最終Pg就一定會收斂于Pdata。也正是基于上述的理論，原始文章中是每次迭代中優先保證D在給定當前G下達到最優，然后再去更新G到最優，如此循環迭代完成訓練。這一證明為GAN的后續發展奠定了堅實基礎，使其沒有像許多其它深度模型一樣只是被應用而沒有廣而深的改進。

1.3 改進方向：

原文只針對框架本身進行了理論證明和實驗驗證，表明了GAN的理論基礎及其有效性，而對于其中的許多細節并沒深究（相當于開采了一個大坑等人來填），比如文章中的輸入信號只是隨機噪聲，比如原文中的G和D都只是以最簡單的MLP來建模；另外，作者在文章結尾還列出了該模型可以改進的5個參考方向，進一步為后來逐漸廣泛的研究做了鋪墊。作者給出的參考方向主要包括：

(1) 將GAN改進為條件產生式模型：這一點最早在GAN公開后的半年就得到了部分解決，即conditional GAN（ARXIV-2014）的工作，該模型實現了給定條件的數據生成，但現在在各個領域特別是圖像和視頻相關的生成工作中，也依然有許多對于給定條件生成數據的任務的相關改進與研究；

(2) 改進輸入z：不直接用隨機噪聲信號，而是可以用其它網絡根據真實數據x學習一個z，然后再輸入G，相當于是對數據x做了一個編碼；這一點目前基本上在多數基于GAN的應用中都被采納；

(3) 對條件分布建模，由已有數據預測未出現的數據：往這個方向改進的相關工作相對出現較晚，直到2016年才逐步開始有相關工作出現；

(4) 半監督學習：在2015年年底出現了將GAN用于半監督問題的工作；另外，現有的許多GAN工作也都表明通過加入少量類別標簽，引入有標簽數據的類別損失度量，不僅功能上實現了半監督學習，同時也有助于GAN的穩定訓練；

(5) 提升GAN的訓練效率：目前比GAN的訓練效率更加要緊的訓練穩定性問題還沒有得到很好的解決，因此相對來說，目前這一點的研究并不廣泛，而且相比較其它的產生式模型而言，GAN的速度也不算是一個非常“拖后腿”的點。

除了作者給出的以上幾個參考方向外，目前GAN在計算機視覺中的超分辨率圖像生成、視頻幀的生成、藝術風格遷移等問題中都得到了廣泛關注。

二. GAN相關工作對比：

我們這里主要對比兩類工作，一類是像GAN一樣將產生器與判別器聯合學習的工作，另一類是深度學習領域中當前應用比較多的深度產生式模型：

2.1 對比1：產生器與判別器聯合學習的相關工作：

在傳統的機器學習領域，很早就引入了將判別式模型與產生式模型進行聯合學習的想法，比如Tony Jebara早在2001年的畢業論文[2]中就以最大熵的形式將判別式模型與產生式模型結合起來聯合學習；2007年UC的Zhuowen Tu也提出將基于boosting分類器的判別器與基于采樣的產生式模型相結合[3]，來產生出服從真實分布的樣本；2012年清華的Jun Zhu老師發表在JMLR上的工作[4]則是將最大間隔機制與貝葉斯模型相結合進行產生式模型的學習。與這些模型相比，GAN更加迎合了當下大數據的需求和深度學習的熱潮，并且更重要的是它給出了一個大的框架而不是一個具體的模型；

2.2 對比2：其它同類深度產生式模型工作：

1) GAN與VAE：VAE中模型性能的好壞直接依賴于其假設的近似分布q的好壞，對于q的選擇需要一定的經驗信息；并且受變分方法本身的限制，其最終模擬出的概率分布一定會存在有偏置，而GAN本身則不存在這個問題，且其原則上可以漸進的逼近任意概率分布，可以認為是一種非參數的產生式建模方法；

2) GAN與pixel RNN/CNN：pixel RNN中是將圖像的生成問題轉化為像素序列的預測和生成問題，因此需要對每個像素逐個操作，而GAN是直接對整幅圖像進行衡量、評價和生成，因此相對來說考慮了整體信息且速度相對較快。

這里主要是從GAN的優點的角度來進行對比的，但GAN模型也存在有不如其它模型的地方，比如目前的最大缺陷是其訓練過程中的穩定性和收斂性難以保證，在2016年有許多相關工作都在嘗試解決其訓練穩定性問題。

GAN在2016年的部分進展

GAN在2016年得到了幾乎全方位的研究，包括其訓練技巧與模型架構改進，理論擴展與實際應用問題等多個角度，都有大量成果出現，難以全部一一列出。下面僅選取其中較為突出的或者被廣泛關注和研究的部分工作進行介紹。

一. 理論框架層面擴展與改進：

對GAN模型的理論框架層面的改進工作主要可以歸納為兩類：一類是從第三方的角度，而不是從GAN模型本身，來看待GAN并進行改進和擴展的方法；第二類是從GAN模型框架的穩定性、實用性等角度出發對模型本身進行改進的工作。

1.1 下面首先介紹以第三方角度看待GAN的兩個典型工作：f-GAN與EBGAN，一個從距離度量的角度出發，一個從能量模型的角度出發，分別對GAN進行闡釋和改進，非常有助于我們對GAN做出新的理解：

(1) f-GAN (NIPS-2016)：該文 [5]提出了一種f-divergence，并證明了GAN只是在f-divergence取某種特定度量時的特殊情況。這個f-divergence包括了常見的多種概率分布的距離度量，比如KL散度、Pearson散度等。具體來說，作者將GAN的優化問題求解中的步驟進行分解，將真實數據分布的估計問題轉化為某種divergence的最小化問題，而這個divergence就正是作者定義的f-divergence的一種特例。最后，作者利用GAN模型框架結合不同度量條件，即不同divergence進行圖像生成。其中，在選擇KL散度的度量方式時，對比結果如下圖所示，可以看出兩者的效果其實相差不大。

(2) EBGAN (ICLR-2017，submitted) : EBGAN [6]是Yann LeCun課題組提交到ICLR2017的一個工作，從能量模型的角度對GAN進行了擴展。EBGAN將判別器看做是一個能量函數，這個能量函數在真實數據域附近的區域中能量值會比較小，而在其他區域（即非真實數據域區域）都擁有較高能量值。因此，EBGAN中給予GAN一種能量模型的解釋，即生成器是以產生能量最小的樣本為目的，而判別器則以對這些產生的樣本賦予較高的能量為目的。

從能量模型的角度來看待判別器和GAN的好處是，我們可以用更多更寬泛的結構和損失函數來訓練GAN結構，比如文中就用自編碼器(AE) 的結構來作為判別器實現整體的GAN框架，如下圖所示：

在訓練過程中，EBGAN比GAN展示出了更穩定的性能，也產生出了更加清晰的圖像，如下圖所示。

1.2 接下來，從GAN網絡本身出發而對GAN進行改進并且取得了良好效果的一個重要工作，就是大名鼎鼎的Info GAN模型。它以成功習得數據的disentangled的表示和擁有穩定的訓練效果而受到廣泛關注:

Info GAN (NIPS-2016) [7]是OPENAI對GAN的一個重要擴展，被認為是OPENAI去年的五大突破之一。原始的GAN模型通過對抗學習最終可以得到一個能夠與真實數據分布一致的模型分布,此時雖然模型相當于已經學到了數據的有效語義特征，但輸入信號z中的具體維度與數據的語義特征之間的對應關系并不清楚，比如z中的哪些維度對應于光照變化或哪些維度對應于pose變化是不明確的。而infoGAN不僅能對這些對應關系建模，同時可以通過控制相應維度的變量來達到相應的變化，比如光照的變化或pose的變化。其思想是把輸入噪聲z分成兩個部分：不可壓縮的噪聲信號z和可解釋的有隱含意義的c。比如對于mnist手寫數字來說，c可以對應于筆畫粗細、圖像光照、字體傾斜度等，用C1,C2,…,CL表示，我們稱之為latent code，而z則可以認為是剩下的不知道怎么描述的或者說不能明確描述的信息。此時生成器的輸出就從原來的G(z)變成了G(z,c)；在學習過程中，為了避免學到一些trivial的latent code而忽略了重要的code，文章對原始的GAN目標函數加了一個約束，即約束latent code c和生成器的輸出G(z,c)之間的互信息I(c;G(z,c))越高越好，以此希望能學到比較重要的有意義的codes c，從而此時的目標函數即為：

在具體的優化過程中，作者采用變分推斷的思想，引入變分分布來逼近真實分布，并與最優互信息下界的步驟輪流迭代進行，實現最終的求解。

在實驗中，作者通過只改變latent code c中的某一個維度，來觀察生成數據的變化。其實驗確實證明：latent code確實學到了一些維度，如對應于圖像的角度或光照的因素，也即說明InfoGAN確實學習到了數據中的disentangled的可解釋部分的表示。其效果參考下圖。

1.3 另外一種從GAN模型本身出發進行改進的工作是將GAN與其它模型結合，綜合利用GAN模型與其它模型的優點來完成數據生成任務。

比如ARXIV-2016上將GAN與RNN進行結合，ICML-2016上的[8]提出的將GAN與VAE的思想相結合的工作等，這里以GAN+VAE (ICML-2016) [8]為例進行介紹：

雖然在第一個部分我們強調了GAN與VAE的不同，但這兩者并不是完全沖突的，工作[8]從另一個角度將兩者結合到了一起。主要是作者利用GAN中的判別器學習到的特征來構建VAE的重構誤差，而不采用常規的VAE中的像素級的誤差，其結構如下圖所示。

在上面的框架中，我們可以把前兩個部分 (encoder + decoder/generator) 看做一個產生式模型的整體，從而和最后一個部分 (discriminator) 構成了擴展的GAN模型；也可以將最后兩個部分 (decoder + discriminator) 看做是一個整體，其中discriminator的存在看做是用于替換原來的element-wise的重構誤差的計算，相當于對decoder的一個輔助，從而此時整個模型架構可以看做是一個自編碼器。因此整體上來說，該模型綜合了VAE與GAN兩種模型的優點，屬于將GAN與其他方法結合的一個代表性工作。

1.4 最后一種改進，是從GAN本源出發，對GAN進行半監督形式的擴展，這類工作目前的做法都大同小異，通過引入類別損失來進行GAN的學習。

這里以CatGAN (ICLR-2016) [9] 為例進行說明：通常無監督的分類方法會被轉化為一個聚類問題，在判別式的聚類方法中通常是以某種距離作為度量準則，從而將數據劃分為多個類別，而本文則是采用數據的熵來作為衡量標準構建來CatGAN (ICLR-2016) 。具體來說，對于真實的數據，模型希望判別器不僅能具有較大的確信度將其劃分為真實樣本，同時還有較大的確信度將數據劃分到某一個現有的類別中去；而對于生成數據卻不是十分確定要將其劃分到哪一個現有的類別，也就是這個不確信度比較大，從而生成器的目標即為產生出那些“將其劃分到某一類別中去”的確信度較高的樣本，嘗試騙過判別器。接下來，為了衡量這個確信程度，作者用熵來表示，熵值越大，即為越不確定；而熵值越小，則表示越確定。然后，將該確信度目標與原始GAN的真偽鑒別的優化目標結合，即得到了CatGAN的最終優化目標。

對于半監督的情況，即當部分數據有標簽時，那么對有標簽數據計算交叉熵損失，而對其他數據計算上面的基于熵的損失，然后在原來的目標函數的基礎上進行疊加即得，當用該半監督方法進行目標識別與分類時，其效果雖然相對較優，但相對當下state-of-the-art的方法并沒有比較明顯的提升。但其基于熵損失的無監督訓練方法卻表現較好，其實驗效果如下圖所示，可以看到，對于如下的典型環形數據，CatGAN可以較好地找到兩者的分類面，實現無監督聚類的功能。

二. 模型改進（偏應用層面）：

2.1 提到GAN在應用層面的改進，就不得不說perceptual similarity，該度量改變了以往的按照圖像的像素級差異來衡量損失的情況，使模型更加魯棒。在當下的多數圖像生成以及視頻數據處理等模型中都有將perceptual similarity加入考慮。

(1) Perceptual Similarity Metrics (NIPS-2016)

Perceptual Similarity Metrics [10]的主要貢獻在于提出了一種新的度量，有助于使GAN產生清晰圖像。其方法是將通常在原始圖像空間的損失度量替換為在特征空間的損失度量。具體來說，在訓練GAN時，除了原始GAN中的對抗訓練損失，額外加入了兩個損失項，共計三個損失項，分別為：

— 特征空間損失Lfeat：文章構建了一個比較器網絡C，然后比較真實樣本和產生的樣本分別作為輸入時，網絡的特征圖(feature map)的差異性，即

這里的一個問題是網絡中間層的特征圖的相似性，只能代表高層的相似性，會使產生出的相對低層的像素級數據出現畸形，因此需要加入圖像的一些先驗信息進行約束。而這個先驗信息就通過對抗損失來體現，從而有了下面的對抗損失；

— 對抗損失：這里的對抗損失，即與生成器一起訓練一個判別器，其中判別模塊的目的是為了區分開產生數據與真實數據，而生成器的目的則是為了盡量的迷惑判別器，其數學形式與原始GAN損失相似，即

判別器D以最小化如下損失為目標：

生成器G以最小化如下損失為目標：

— 圖像空間損失：用生成數據與真實數據的L2損失來表示，對像素層面的相似性進行約束，即為

最終的目標函數為三個loss項的加權和。

其實驗結果非常值得關注，因其清晰的表明了各個loss的作用，如下圖所示。可以看出，如果沒有對抗損失Ladv，產生的結果非常差；如果沒有特征空間的損失項Lfeat，會使產生的圖像只有大概的輪廓信息，但會丟失許多細節信息；如果沒有圖像空間損失Limg，最終產生的結果跟有Limg差不多，但在訓練的時候沒有這一項的話會使網絡更容易不穩定；而同時利用三項loss的結果則可以相對穩定的產生出較為清晰的圖像。目前該度量在許多基于GAN的模型中都得到了應用。

(2) 超分圖像生成 (ECCV-2016; ARXIV-2016)：

在與上述工作的幾乎同時期(相差僅一個月)，Li Fei-Fei團隊也提出了類似的perceptual loss ([11], ECCV-2016)，通過網絡中間層的特征圖的差異來作為代價函數，利用GAN的框架，進行風格遷移和超分圖像的生成任務；

時隔約半年后，2016年9月Twitter的SRGAN[12]基于上述損失，提出一種新的損失函數與GAN本身的loss結合，實現了從低分辨率圖像到超分辨率圖像的生成。SRGAN與上述NIPS-2016工作的主要不同是：(1) 將圖像空間的損失替換成了一個對生成圖像整體方差的約束項，以保證圖像的平滑性；(2) 采用了某種規則化的特征圖差異損失，而不是直接累加求和：SRGAN將生成數據和真實數據分別輸入VGG-19網絡，根據得到的feature map的差異來定義損失項，其形式與NIPS-2016的主要不同在于加入了規則化的處理 (normalization)，從而變成：

其中Wij, Hij為feature map的寬和高，?(i,j)表示在VGG-19的網絡中第i個max pooling層前的第j個卷積層。最后，結合這三個損失項：對抗損失、圖像平滑項、特征圖差異，送入GAN框架，可以生成相對其它方法明顯效果好的超分辨率圖像，其對比如下圖所示：

2.2 常規的從噪聲數據生成圖像和給定屬性產生圖像的任務可以看做是從噪聲到圖（輸入為噪聲，輸出為圖像）和從圖到圖（輸入為圖像，輸出為圖像）的問題，而ICML-2016上的工作[13]另辟蹊徑，實現Image Captioning的反任務，即從文本描述生成圖像。該文也是第一個提出用GAN的框架來實現從文本生成圖像的工作，對于推動GAN以及產生式模型在實際中的進一步應用具有一定意義：

該文實現的任務是產生滿足文本描述的圖像，相當于是以文本描述為條件來產生圖像，因此可以在某種程度上看做是對原始的conditional GAN模型(ARXIV-2014) 的一種擴展和應用。其模型架構如下圖所示，將文本進行編碼后的特征與隨機噪聲信息串接輸入產生器產生圖像；而編碼后的文本特征也同時作為監督信號輸入判別器以構建目標函數。

其效果也非常可觀，如下圖所示，可以看出，大部分時候都能產生出與文本意義相對應的圖像。

2.3 在處理靜態圖像的生成任務的同時，GAN也逐漸被擴展到了視頻處理領域，NIPS-2016上的[14]即為一個代表性工作，該工作可以同時生成和預測下一視頻幀：

為了產生出具有時域變化的視頻幀，該模型在生成器部分將動態前景部分和靜態背景部分分開建模和生成，構建two-stream的樣本生成器，然后將產生的前景和背景進行組合得到產生出的video;對于判別器，主要完成兩個任務：區分出產生數據與真實數據，同時要識別出視頻幀間進行的行為，從而指導生成器去產生數據。其結構如下圖所示。

三. 訓練技巧：

由于GAN的模型不穩定性問題比較突出，因而在2016年出現的關于GAN訓練技巧的成果有許多，目前被廣泛應用的主要包括：DCGAN (ICLR-2016) 和Improved GAN (NIPS-2016 workshop)，特別是DCGAN，幾乎在各大GAN模型中都能看到它的身影。

3.1 DCGAN (ICLR-2016)：

DCGAN 的模型結構如上圖所示[15]，其輸入為100維的噪聲向量，經過一系列的strided conv操作，形成64x64的圖像，即為G(z)，而判別器結構與之類似，只是是由一系列的卷積操作構成 (而非strided conv)，最后由average pooling形成判別器的標量輸出。在本文中，最主要的是提出了以下三條有助于穩定訓練GAN的方法：

(1) 去掉max pooling操作：用strided conv代替原來的pooling操作，使網絡自動學習合適的采樣核函數；

(2) 去掉全連接層：用global average pooling代替全連接層；雖然該操作可能會導致收斂速度變慢，但有助于整體訓練的穩定性；

(3) 加入BN層：之前的LAPGAN (NIPS-2015) 指出如果像常規模型一樣對所有層都施加BN，則會引起GAN的模型崩潰，而DCGAN通過對generator的輸出層和discriminator的輸入層不用BN，而其他層都用BN，則緩解了模型崩潰問題，并且有效避免了模型的振蕩和不穩定問題。

(4) 激活函數的選擇：在generator中除了輸出層用tanh外，其余都用RELU函數；而在discriminator中采用leaky ReLU函數。

目前前三點已幾乎成為當下諸多GAN模型實現的標配；而許多基于GAN模型的實驗設計也都是基于DCGAN的結構或總結的上述原則而進行的，包括前面OpenAI的Info-GAN、NIPS-2016的視頻生成模型、Twitter的超分辨率的圖像生成模型等等。

3.2 Improved GAN (NIPS-2016 workshop)：

該工作[16]主要給出了5條有助于GAN穩定訓練的經驗：

(1) 特征匹配：讓生成器產生的樣本與真實樣本在判別器中間層的響應一致，即使判別器從真實數據和生成數據中提取的特征一致，而不是在判別器網絡的最后一層才做判斷，有助于提高模型的穩定性；其實驗也表明在一些常規方法訓練GAN不穩定的情況中，若用特征匹配則可以有效避免這種不穩定；

(2) Minibatch Discrimination：在判別器中，不再每次對每一個生成數據與真實數據的差異性進行比較，而是一次比較一批生成數據與真實數據的差異性。這種做法提高了模型的魯棒性，可以緩解生成器輸出全部相似或相同的問題；

(3) Historical Averaging：受fictitious play的游戲算法啟發，作者提出在生成器和判別器的目標函數中各加一個對參數的約束項

其中θ[i]表示在時刻i的模型參數，該操作可以在一些情況下幫助模型達到模型的平衡點；

(4) 單邊標簽平滑 (One-sided Label Smoothing)：當向GAN中引入標簽數據時，最好是將常規的0、1取值的二值標簽替換為如0.1,0.9之類的平滑標簽，可以增加網絡的抗干擾能力；但這里之所以說單邊平滑，是因為假設生成數據為0.1而非0的話會使判別器的最優判別函數的形狀發生變化，會使生成器偏向于產生相似的輸出，因此對于取值0的標簽保持不變，不用0.1一類的小數據替換，即為單邊標簽平滑；

(5) Virtual Batch Normalization：VBN相當于是BN的進階版，BN是一次對一批數據進行歸一化，這樣的一個副作用是當“批”的大小不同時，BN操作之后的歸一化常量會引起訓練過程的波動，甚至超過輸入信號z的影響（因z是隨機噪聲）；而VBN通過引入一個參考集合，每次將當下的數據x加入參考集合構建一個新的虛擬的batch，然后在這個虛擬的batch上進行歸一化，如此可以緩解原始BN操作所引起的波動問題。

3.3 Github資源：

針對GAN訓練過程的不穩定問題， Soumith等人 在github上專門總結了一個文檔，其地址為soumith/ganhacks，總結了17種可以嘗試的方法，可以為多數訓練過程提供參考。

總結

本文主要列出了2016年中部分較有代表性或應用較為廣泛的工作，而實際上，在過去一年里對于GAN的擴展和改進工作還有許多，包括GAN與其他方法如強化學習的融合、GAN在半監督學習領域的擴展等都值得關注。

GAN提供的不僅僅是單一的某個模型，而是一種框架，從這個角度來說，GAN可以與許多其它方法進行融合，在GAN的框架下進行融合；但目前GAN的訓練穩定性問題仍未能很好地解決，甚至Ian J. Goodfellow自己也認為相對于GAN的穩定性問題而言，GAN新架構的開發反而顯得關系不大；同時GAN也面臨著一個稍許尷尬的問題，即缺乏客觀評估，其產生樣本的質量好壞仍然依賴人眼去判斷。另外，從應用的角度來說，目前多數方法都是在GAN原始框架的基礎上稍作修改，比如修改損失函數，或者在條件GAN或LAPGAN的基礎上改進，但目前并沒有一個具有突破性壓倒性的圖像生成模型，可能這也和GAN缺乏客觀的評估指標有關；綜合這些問題，GAN還有很長的路可以走......

參考文獻

[1] Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron C. Courville, Yoshua Bengio. Generative Adversarial Nets. NIPS 2014: 2672-2680

[2] T. Jebara. Discriminative, generative and imitative learning . PhD Thesis, Media Laboratory, MIT, December 2001.

[3] Zhuowen Tu, Learning Generative Models via Discriminative Approaches. CVPR 2007

[4] Jun Zhu, Amr Ahmed, Eric P. Xing. MedLDA: maximum margin supervised topic models. Journal of Machine Learning Research 13: 2237-2278 (2012)

[5] Sebastian Nowozin, Botond Cseke, Ryota Tomioka. f-GAN: Training Generative Neural Samplers using Variational Divergence Minimization. NIPS (2016)

[6] Junbo Zhao, Michael Mathieu, Yann LeCun，Energy-based Generative Adversarial Network，ICLR-2017，open review.

[7] Xi Chen, Yan Duan, Rein Houthooft, John Schulman, ,Ilya Sutskever, Pieter Abbeel, InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets

[8] Anders Boesen Lindbo Larsen, S?ren Kaae S?nderby, Hugo Larochelle, Ole Winther. Autoencoding beyond pixels using a learned similarity metric, ICML-2016.

[9] Jost Tobias Springenberg , unsupervised and semi-supervised learning with categorical generative adversarial networks, ICLR-2016.

[10] Alexey Dosovitskiy, Thomas Brox. Generating Images with Perceptual Similarity Metrics based on Deep Networks. NIPS 2016.

[11] Justin Johnson, Alexandre Alahi, Li Fei-Fei. Perceptual Losses for Real-Time Style Transfer and Super-Resolution. ECCV-2016.

[12] Christian Ledig, Lucas Theis, Ferenc Husz′ ar, Jose Caballero, Andrew Aitken, Alykhan Tejani, Johannes Totz, Zehan Wang, Wenzhe Shi. Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network.ARXIV-2016

[13] Scott Reed, Zeynep Akata, Xinchen Yan, Lajanugen Logeswaran, Bernt Schiele, Honglak Lee. Generative Adversarial Text to Image Synthesis, ICML-2016.

[14] Carl Vondrick, Hamed Pirsiavash, Antonio Torralba. Generating Videos with Scene Dynamics, NIPS-2016;

[15] Alec Radford, Luke Metz, Soumith Chintala. Unsupervised representation learning with deep convolutional generative adversarial networks, ICLR-2016;

[16] Tim Salimans, Ian Goodfellow, Wojciech Zaremba, Vicki Cheung, Alec Radford, Xi Chen. Improved Techniques for Training GANs, nips-2016, workshop.

原文地址： https://zhuanlan.zhihu.com/p/25000523?refer=dlclass

總結

以上是生活随笔為你收集整理的解读GAN及其 2016 年度进展的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。