GAN_李弘毅讲解
GAN_李弘毅講解:
上式中,xi從data中sample的一部分,現在的目的就是最大化這個似然函數,使得Generator最可能產生data中的這些sample;
上式中之所以如此設計V函數,是為了后面與KL以及cross entropy結合起來;
問題一:上圖存在的一個問題:G迭代的過多造成G1下的D*得到的兩種數據的分布差異更大了;
?
使用優化在前期的話由于梯度較小,學習較慢,所以改為了下面那種形式;
問題二:由于采用JSD距離,可以發現當data與G產生的數據沒有重疊時,兩者的距離始終為log2,當兩者離得更近時依然如此,這樣子當train的時候Loss不變就沒有動力進行訓練;下面有一種改善方法:
如上所示:加入噪聲,使得兩個分布之間有overlap,使得可以產生JSD進行訓練,同時保證Loss隨著訓練不斷下降;
問題三:G產生的數據與data之間形成了一種“貓捉老鼠“的游戲,下圖是一種解決方式,暫時還沒看懂;
GAN的一些發展:
轉載于:https://www.cnblogs.com/zf-blog/p/10508847.html
總結