Generative Adversarial Networks——生成對抗網絡（GAN）的基本思想

源自：博弈論的二人零和博弈（即：游戲雙方的利益之和為零，一方所得正是一方所失。類似矛和盾的相輔相成，周伯通的左右手互博，假鈔罪犯和辯鈔警察魔道相抗）；

其由兩部分組成：

判別器 (Discriminator)：

功能：一個二分類器，判斷輸入的數據是真實的還是生成器G模擬的；

輸入：真實數據x和生成數據G（z）；

輸出：輸入數據是真實數據的相似概率p（0~1，0是假，1是真，0.5是無法區分）

目的：盡量正確判別輸入數據是來自真實數據還是來自生成器?

生成器?(Generator)：

功能：從隨機的噪聲空間z中，根據判別器D的反向傳播（?backpropagation），捕捉真實數據x的數值分布規律（?captures the data distribution）（To learn the generator’s distribution p g over data x, we define a prior on input noise variables p z (z), then represent a mapping to data space as G(z;θ g ), where G is a differentiable function represented by a multilayer perceptron with parameters θ g .）

輸出：產生對真實數據的模仿輸出G(z)；

目的：盡量去學習真實的數據分布

用途：作為一個具有 “ 無限 ” 生成能力的模型 , GAN的直接應用就是建模 , 生成與真實數據分布一致的數據樣本 , 例如可以生成圖像、視頻等 . GAN 可以用于解決標注數據不足時的學習問題 , 例如無監督學習、半監督學習等 . GAN 還可以用于語音和語言處理 , 例如生成對話、由文本生成圖像等 .?

• ?用GAN 生成細節豐富的圖像

作者用 VGG 網絡 [37] 作為判別器 ,用參數化的殘差網絡 [19] 表示生成器 , 實驗結果如圖4 所示?

?

?如何訓練：

給定生成器 G 的情況下 ,?

GAN 估計的是兩個概率分布密度的比值 , 這也是和其他基于下界優化或者馬爾科夫鏈方法的關鍵不同之處 。

?

先訓練判別器D，使其能夠有能力更好地識別真實數據x和假數據，能分配正確的標簽，?D(x) 代表的是 x 來源于真實數據
而非生成數據的概率 .，即讓p(D(x)->1，D(G(z))->0;

然后訓練生成器G，使其的輸出G(z)作為判別器D的輸入時，可盡量使D產生錯誤的判斷以為G(z)和真實數據x很像，即使p[D(G(z))]更大，接近于1；即使p[1-D(G(z))]->0越小；

We train D to maximize the probability of assigning the correct label to both training examples and samples from G. We simultaneously train G to minimize log(1 ? D(G(z))):

In other words, D and G play the following two-player minimax game with value function V (G,D):

我們的目的在于得到一個強大的足以以假亂真的生成器G，類似于師傅D訓練關門弟子G，所以得先有盡職盡責得監督伴侶判別器D。前期要確保D的能力始終略強于G，直到把D的能力透支到極限時G也能混淆D，那就說明訓練好D了！

• 起初，G什么都不懂，D要對G寬容些，指出G大方向顯而易見的錯誤讓G加以改正即可！
• 隨后，G變強了不服老師了，所以老師要嚴厲點，指出細節處的不足讓其發瘋圖強！當然師傅也在不斷進步，但通常G訓練k次后，D才訓練一次，防止過擬合！
• 之后，G的實力越來越強，D也會越來越嚴格。兩者亦師亦友互相借鑒了
• 最后，決戰打個平手，D識別不出G的真假時，G就出師了！~D(x)=0.5??p (g)= p (data)

采用交替優化的方法 : 先固定生成器 G, 優化判別器 D, 使得D 的判別準確率最大化 ; 然后固定判別器 D, 優化生成器 G, 使得 D 的判別準確率最小化 .

當且僅當p data = p g 時達到全局最優解 . 訓練 GAN 時 , 同一輪參數更新中 , 一般對 D 的參數更新 k 次再對 G的參數更新 1 次?

GAN 在基于梯度下降訓練時存在梯度消失的問題 , 因為當真實樣本和生成樣本之間具有極小重疊甚至沒有重疊時 , 其目標函數的 Jensen-Shannon散度是一個常數 , 導致優化目標不連續 . 。

GAN 最突出的優點同時也是它最大的問題根源 . GAN 采用對抗學習的準則 , 理論上還不能判斷模型的收斂性和均衡點的存在性 . 訓練過程需要保證兩個對抗網絡的平衡和同步 , 否則難以得到很好的訓練效果 .?

總結

以上是生活随笔為你收集整理的GAN·生成对抗网络——札记2-读《生成式对抗网络 GAN 的研究进展与展望》的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。