https://antkillerfarm.github.io/

GAN（續）

Lipschitz約束

稍微思考一下，我們就發現，問題還沒完。我們目前還沒有對D做約束，不難發現，無約束的話Loss基本上會直接跑到負無窮去了～

最簡單的方案就是采用Lipschitz約束：

∥D(y,θ)?D(y′,θ)∥≤C∥y?y′∥

也可寫作：

∥∥∥?D(y,Θ)?y∥∥∥≤C

注：Rudolf Otto Sigismund Lipschitz，1832～1903，德國數學家，先后就讀于柯尼斯堡大學和柏林大學，導師Dirichlet。波恩大學教授。

WGAN

KL散度和JS散度由于不是距離，數學特性并不夠好。因此，Martín Arjovsky于2017年1月，提出了Wasserstein GAN。

其中的一項改進就是使用Wasserstein距離替代KL散度和JS散度。Wasserstein距離的定義參看《機器學習（二十）》。

WGAN極大程度的改善了GAN訓練困難的問題，成為當前GAN研究的主流。

參考：

https://zhuanlan.zhihu.com/p/25071913

令人拍案叫絕的Wasserstein GAN

GAN的發展

最早的GAN出現在2014年6月，但直到2015年底，也只有5個變種，發展并不迅速。

2016年，GAN開始發力，年底時已有52個變種。2017年6月底，更達到142個變種。

上圖的源地址：

https://github.com/hwalsuklee/tensorflow-generative-model-collections

參考：

https://github.com/hindupuravinash/the-gan-zoo

GAN的各種變種。

參考

https://mp.weixin.qq.com/s/xa3F3kCprE6DEQclas4umg

GAN的數學原理

http://www.jianshu.com/p/e2d2d7cbbe49

50行代碼實現GAN

https://mp.weixin.qq.com/s/YnOF9CCUFvtaiTY8HXYOuw

深入淺出：GAN原理與應用入門介紹

http://blog.csdn.net/u011534057/article/category/6396518

GAN系列blog

https://mp.weixin.qq.com/s/4CypEZscTfmUzOk-p_rZog

生成對抗網絡初學入門：一文讀懂GAN的基本原理

http://mp.weixin.qq.com/s/bzwG0QxnP2drqS4RwcZlBg

微軟詳解：到底什么是生成式對抗網絡GAN？

https://mp.weixin.qq.com/s/oCDlhzjOYTIhsr5JuoRCJQ

IRGAN：大一統信息檢索模型的博弈競爭

https://mp.weixin.qq.com/s/QacQCrjh3KmrQSMp-G_rEg

貝葉斯生成對抗網絡

https://zhuanlan.zhihu.com/p/24897387

GAN的基本原理、應用和走向

https://mp.weixin.qq.com/s/E28lA-fcAQ6Sp6Qv64H3TQ

GAN in NLP

https://mp.weixin.qq.com/s/7-oHa-8Q8ThcctaVOZFfew

Facebook創意生成網絡CAN，比GAN更有創造力

https://mp.weixin.qq.com/s/aSQ2-QxbToGF0ROyjxw2yw

萌物生成器：如何使用四種GAN制造貓圖

https://mp.weixin.qq.com/s/YUMIL-f019vKpQ84mKS-8g

這篇TensorFlow實例教程文章告訴你GANs為何引爆機器學習？

http://mp.weixin.qq.com/s/UkZdUcdz7h4DqcyjSbNncw

zi2zi：用條件生成對抗網絡玩轉中文書法，絕妙漢字字體自動生成

http://blog.csdn.net/v_JULY_v/article/details/52683959

沒GPU也能玩梵高作畫：Ubuntu tensorflow CPU版

https://github.com/cysmith/neural-style-tf

TensorFlow (Python API) implementation of Neural Style.這個項目實現了兩張圖片的畫風融合，非常牛。

https://github.com/jinfagang/pytorch_style_transfer

這個和上面的一樣，不過是用pytorch實現的。

http://mp.weixin.qq.com/s/zNmJuevHaagKbyGFdKTwoQ

tensorflow實現基于深度學習的圖像補全

https://zhuanlan.zhihu.com/p/25204020

條條大路通羅馬LS-GAN：把GAN建立在Lipschitz密度上

https://zhuanlan.zhihu.com/p/27199954

用GAN去除動作片中的馬賽克和衣服

https://zhuanlan.zhihu.com/p/27012520

從頭開始GAN

https://mp.weixin.qq.com/s/Qzlg1MzRT3josy2RJpQSVg

Image to Image Translation Using GAN

https://mp.weixin.qq.com/s/AswdyjPeKbX7yhAPloP2og

基于對抗學習的生成式對話模型

https://mp.weixin.qq.com/s/uyn41vKKoptXPZXBP2vVDQ

生成對抗網絡（GAN）之MNIST數據生成

https://mp.weixin.qq.com/s/sxa0BfXtylHXzjq0YBn-Kg

伯克利圖像遷移cycleGAN，貓狗互換效果感人

https://mp.weixin.qq.com/s/aMfPBl6E5SxckQdSAGTkBg

Pytorch教程：Facebook發布的LR-GAN如何生成圖像？

https://zhuanlan.zhihu.com/p/28342644

CycleGAN的原理與實驗詳解

https://mp.weixin.qq.com/s/YXWTslQXIKVihBb2Bgtafg

GAN在信息檢索領域的應用

http://mp.weixin.qq.com/s/21CN4hAA6p7ZjWsO1sT2rA

一文看懂生成式對抗網絡GANs：介紹指南及前景展望

https://mp.weixin.qq.com/s/YLys6L9WT7eCC-xGr1j0Iw

帶多分類判別器的GAN模型

https://mp.weixin.qq.com/s/0tTLotV-8w2j3VdkH-qjCQ

讓機器告訴你故事的結局應該是什么：利用GAN進行故事型常識閱讀理解

https://mp.weixin.qq.com/s/lqQeCpLQVqSdJPWx0oxs2g

例解生成對抗網絡

https://mp.weixin.qq.com/s/fMtuJbWG_d9zyCZ0oYyX_w

經得住考驗的“假圖片”：用TensorFlow為神經網絡生成對抗樣本

https://zhuanlan.zhihu.com/p/28488946

AI可能真的要代替插畫師了……

https://mp.weixin.qq.com/s/OXN8Y5truLeslX8-UWgqmg

宅男的福音：用GAN自動生成二次元萌妹子

https://mp.weixin.qq.com/s/LAS0KgPiVekGdQXbqlw1cQ

深度學習的三大生成模型：VAE、GAN、GAN的變種

https://mp.weixin.qq.com/s/N7YU-YeXiVX7gSB-mzYgnw

生成式對抗網絡GAN的研究進展與展望

https://mp.weixin.qq.com/s/gDzti2DISq_cwGbP5T7ICQ

聊聊對抗自編碼器

https://mp.weixin.qq.com/s/3Aq1HXpBzgNdcB130tCKbQ

GAN網絡圖像翻譯機：圖像復原、模糊變清晰、素描變彩圖

fine-tuning

fine-tuning和遷移學習雖然是兩個不同的概念。但局限到CNN的訓練領域，基本可以將fine-tuning看作是一種遷移學習的方法。

舉個例子，假設今天老板給你一個新的數據集，讓你做一下圖片分類，這個數據集是關于Flowers的。問題是，數據集中flower的類別很少，數據集中的數據也不多，你發現從零訓練開始訓練CNN的效果很差，很容易過擬合。怎么辦呢，于是你想到了使用Transfer Learning，用別人已經訓練好的Imagenet的模型來做。

由于ImageNet數以百萬計帶標簽的訓練集數據，使得如CaffeNet之類的預訓練的模型具有非常強大的泛化能力，這些預訓練的模型的中間層包含非常多一般性的視覺元素，我們只需要對他的后幾層進行微調，再應用到我們的數據上，通常就可以得到非常好的結果。最重要的是，在目標任務上達到很高performance所需要的數據的量相對很少。

雖然從理論角度尚無法完全解釋fine-tuning的原理，但是還是可以給出一些直觀的解釋。我們知道，CNN越靠近輸入端，其抽取的圖像特征越原始。比如最初的一層通常只能抽取一些線條之類的元素。越上層，其特征越抽象。

而現實的圖像無論多么復雜，總是由簡單特征拼湊而成的。因此，無論最終的分類結果差異如何巨大，其底層的圖像特征卻幾乎一致。

參考：

https://zhuanlan.zhihu.com/p/22624331

fine-tuning:利用已有模型訓練其他數據集

http://www.cnblogs.com/louyihang-loves-baiyan/p/5038758.html

Caffe fine-tuning微調網絡

http://blog.csdn.net/sinat_26917383/article/details/54999868

caffe中fine-tuning模型三重天（函數詳解、框架簡述）+微調技巧

http://yongyuan.name/blog/layer-selection-and-finetune-for-cbir.html

圖像檢索：layer選擇與fine-tuning性能提升驗證

h1ttps://www.zhihu.com/question/49534423

遷移學習與fine-tuning有什么區別？

李飛飛

AI大佬

李飛飛是吳恩達之后的華裔AI新大佬。巧合的是，他們都是斯坦福AP+AI lab的主任，只不過吳是李的前任而已。

李飛飛（Fei-Fei Li），1976年生，成都人，16歲移民美國。普林斯頓大學本科（1995～1999）+加州理工學院博士（2001～2005）。先后執教于UIUC、普林斯頓、斯坦福等學校。

個人主頁：

http://vision.stanford.edu/feifeili/

大佬的門徒

比如可愛的妹子Serena Yeung。這個妹子是斯坦福的本碩博。出身不詳，但從姓名的英文拼法來看，應該是美國土生的華裔。Yeung是楊、陽、羊等姓的傳統英文拼法，但顯然不是大陸推行的拼音拼法。（可以對比的是Fei-Fei Li和Bruce Lee，對于同一個姓的不同拼法。）

個人主頁：

http://ai.stanford.edu/~syyeung/

還有當紅的“辣子雞”：Andrej Karpathy，多倫多大學本科（2009）+英屬不列顛哥倫比亞大學碩士（2011）+斯坦福博士（2015）。現任特斯拉AI總監。

吐槽一下：英屬不列顛哥倫比亞大學其實是加拿大的一所大學。

個人主頁：

http://cs.stanford.edu/people/karpathy/

Andrej Karpathy建了一個檢索arxiv的網站，主要搜集了近3年來的ML/DL領域的論文。網址：

http://www.arxiv-sanity.com/

李佳（Jia Li），李飛飛的開山大弟子，追隨她從UIUC、普林斯頓到斯坦福。目前又追隨其到Google。大約是知道自己的名字是個大路貨，她的筆名叫做Li-Jia Li。

個人主頁：

http://vision.stanford.edu/lijiali/

總結

以上是生活随笔為你收集整理的深度学习（八）——fine-tuning, 李飞飞的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。