大家好，我是 K同學(xué)啊！

《深度學(xué)習(xí)100例》系列在昨天已經(jīng)完成了第20博客！

這是一個(gè)漫長(zhǎng)的過(guò)程，中途遇到了不少問(wèn)題，但是也有幸遇見(jiàn)不少優(yōu)秀的伙伴，這里簡(jiǎn)單介紹一下這90天做的事情。

1. 深度學(xué)習(xí)100例-卷積神經(jīng)網(wǎng)絡(luò)（CNN）實(shí)現(xiàn)MNIST手寫(xiě)數(shù)字識(shí)別 | 第1天

這篇文章作為《深度學(xué)習(xí)100例》的首篇文章，我使用了最簡(jiǎn)單也最經(jīng)典的案例 – MNIST手寫(xiě)數(shù)字識(shí)別。極簡(jiǎn)化了神經(jīng)網(wǎng)絡(luò)程序，當(dāng)然，如何你是一個(gè)從來(lái)沒(méi)了接觸過(guò)深度學(xué)習(xí)的小白，那我建議你可以先看這個(gè)專(zhuān)欄：《小白入門(mén)深度學(xué)習(xí)》

使用的是MNIST數(shù)據(jù)集，MNIST 手寫(xiě)字符數(shù)據(jù)集的數(shù)字圖片是由250個(gè)不同職業(yè)的人純手寫(xiě)繪制，其中訓(xùn)練集為60,000張28x28像素灰度圖像，測(cè)試集為10,000張28x28像素灰度圖像，總共10類(lèi)數(shù)字標(biāo)簽。

2. 深度學(xué)習(xí)100例-卷積神經(jīng)網(wǎng)絡(luò)（CNN）彩色圖片分類(lèi) | 第2天

這篇文章中我使用的是CIFAR10數(shù)據(jù)集，它是一個(gè)更接近普適物體的彩色圖像數(shù)據(jù)集。是由Hinton 的學(xué)生Alex Krizhevsky 和Ilya Sutskever 整理的一個(gè)用于識(shí)別普適物體的小型數(shù)據(jù)集。一共包含10 個(gè)類(lèi)別的RGB彩色圖片，每個(gè)類(lèi)別有6000個(gè)圖像。每個(gè)圖片的尺寸為32×32 ，數(shù)據(jù)集中一共有50000張訓(xùn)練圖片和10000 張測(cè)試圖片。

3. 深度學(xué)習(xí)100例-卷積神經(jīng)網(wǎng)絡(luò)（CNN）服裝圖像分類(lèi) | 第3天

Fashion-MNIST是一個(gè)圖像數(shù)據(jù)集。 它是由Zalando（一家德國(guó)的時(shí)尚科技公司）旗下的研究部門(mén)提供。其涵蓋了來(lái)自10種類(lèi)別的共7萬(wàn)個(gè)不同商品的正面圖片。Fashion-MNIST的大小、格式和訓(xùn)練集/測(cè)試集劃分與原始的MNIST完全一致。60000/10000的訓(xùn)練測(cè)試數(shù)據(jù)劃分，28x28的灰度圖片。你可以直接用它來(lái)測(cè)試你的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)算法性能，且不需要改動(dòng)任何的代碼。

4. 深度學(xué)習(xí)100例-卷積神經(jīng)網(wǎng)絡(luò)（CNN）花朵識(shí)別 | 第4天

從這篇文章開(kāi)始使用的就是自己本地的數(shù)據(jù)集了，相應(yīng)的增加了數(shù)據(jù)導(dǎo)入模塊。這次使用的是雛菊、蒲公英、玫瑰、向日葵、郁金香等五個(gè)類(lèi)別的花卉數(shù)據(jù)集，一共3670張彩色圖片，圖片大小不一。

5. 深度學(xué)習(xí)100例-卷積神經(jīng)網(wǎng)絡(luò)（CNN）天氣識(shí)別 | 第5天

我就是來(lái)帶大家看風(fēng)景的~

---

6. 深度學(xué)習(xí)100例-卷積神經(jīng)網(wǎng)絡(luò)（VGG-16）識(shí)別海賊王草帽一伙 | 第6天

VGG于2014年由牛津大學(xué)科學(xué)工程系Visual Geometry Group組提出的。主要工作是證明了增加網(wǎng)絡(luò)的深度能夠在一定程度上影響網(wǎng)絡(luò)最終的性能。VGG有兩種結(jié)構(gòu)，分別是VGG16和VGG19，兩者除了網(wǎng)絡(luò)深度不一樣，其本質(zhì)并沒(méi)有什么區(qū)別。

相對(duì)于2012年的AlexNet， VGG的一個(gè)高進(jìn)是采用連續(xù)的3x3小卷積核來(lái)代替AlexNet中較大的卷積核（AlexNet采用了11x11，7x7與5x5大小的卷積核）。兩個(gè)3x3步長(zhǎng)為1的卷積核的疊加，其感受野相當(dāng)與一個(gè)5x5的卷積核。但是采用堆積的小卷積核是由于大卷積核的，因?yàn)閷訑?shù)的增加，增加了網(wǎng)絡(luò)的非線性，從而能讓網(wǎng)絡(luò)來(lái)學(xué)習(xí)更復(fù)雜的模型，并且小卷積核的參數(shù)更少。

7. 深度學(xué)習(xí)100例-卷積神經(jīng)網(wǎng)絡(luò)（VGG-19）識(shí)別靈籠中的人物 | 第7天

VGG于2014年由牛津大學(xué)科學(xué)工程系Visual Geometry Group組提出的。主要工作是證明了增加網(wǎng)絡(luò)的深度能夠在一定程度上影響網(wǎng)絡(luò)最終的性能。VGG有兩種結(jié)構(gòu)，分別是VGG16和VGG19，兩者除了網(wǎng)絡(luò)深度不一樣，其本質(zhì)并沒(méi)有什么區(qū)別。

相對(duì)于2012年的AlexNet， VGG的一個(gè)高進(jìn)是采用連續(xù)的3x3小卷積核來(lái)代替AlexNet中較大的卷積核（AlexNet采用了11x11，7x7與5x5大小的卷積核）。兩個(gè)3x3步長(zhǎng)為1的卷積核的疊加，其感受野相當(dāng)與一個(gè)5x5的卷積核。但是采用堆積的小卷積核是由于大卷積核的，因?yàn)閷訑?shù)的增加，增加了網(wǎng)絡(luò)的非線性，從而能讓網(wǎng)絡(luò)來(lái)學(xué)習(xí)更復(fù)雜的模型，并且小卷積核的參數(shù)更少。

8. 深度學(xué)習(xí)100例-卷積神經(jīng)網(wǎng)絡(luò)（ResNet-50）鳥(niǎo)類(lèi)識(shí)別 | 第8天

ResNet是微軟研究院2015年提出的一種網(wǎng)絡(luò)結(jié)構(gòu)，，獲得了ILSVRC-2015分類(lèi)任務(wù)的第一名，同時(shí)在ImageNet detection，ImageNet localization，COCO detection和COCO segmentation等任務(wù)中均獲得了第一名。

殘差網(wǎng)絡(luò)是為了解決神經(jīng)網(wǎng)絡(luò)隱藏層過(guò)多時(shí)，而引起的網(wǎng)絡(luò)退化問(wèn)題。退化（degradation）問(wèn)題是指：當(dāng)網(wǎng)絡(luò)隱藏層變多時(shí)，網(wǎng)絡(luò)的準(zhǔn)確度達(dá)到飽和然后急劇退化，而且這個(gè)退化不是由于過(guò)擬合引起的。

---

9. 深度學(xué)習(xí)100例-循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）實(shí)現(xiàn)股票預(yù)測(cè) | 第9天

傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)比較簡(jiǎn)單：輸入層 – 隱藏層 – 輸出層。RNN 跟傳統(tǒng)神經(jīng)網(wǎng)絡(luò)最大的區(qū)別在于每次都會(huì)將前一次的輸出結(jié)果，帶到下一次的隱藏層中，一起訓(xùn)練。

11. 深度學(xué)習(xí)100例-循環(huán)神經(jīng)網(wǎng)絡(luò)（LSTM）實(shí)現(xiàn)股票預(yù)測(cè) | 第10天

一句話介紹LSTM，它是RNN的進(jìn)階版，如果說(shuō)RNN的最大限度是理解一句話，那么LSTM的最大限度則是理解一段話。

LSTM，全稱(chēng)為長(zhǎng)短期記憶網(wǎng)絡(luò)(Long Short Term Memory networks)，是一種特殊的RNN，能夠?qū)W習(xí)到長(zhǎng)期依賴關(guān)系。LSTM由Hochreiter & Schmidhuber (1997)提出，許多研究者進(jìn)行了一系列的工作對(duì)其改進(jìn)并使之發(fā)揚(yáng)光大。LSTM在許多問(wèn)題上效果非常好，現(xiàn)在被廣泛使用。

LSTM避免了長(zhǎng)期依賴的問(wèn)題。可以記住長(zhǎng)期信息！LSTM內(nèi)部有較為復(fù)雜的結(jié)構(gòu)。能通過(guò)門(mén)控狀態(tài)來(lái)選擇調(diào)整傳輸?shù)男畔?#xff0c;記住需要長(zhǎng)時(shí)間記憶的信息，忘記不重要的信息，其結(jié)構(gòu)如下：

12. 深度學(xué)習(xí)100例-卷積神經(jīng)網(wǎng)絡(luò)（AlexNet）手把手教學(xué) | 第11天

AleXNet使用了ReLU方法加快訓(xùn)練速度，并且使用Dropout來(lái)防止過(guò)擬合。

AleXNet是首次把卷積神經(jīng)網(wǎng)絡(luò)引入計(jì)算機(jī)視覺(jué)領(lǐng)域并取得突破性成績(jī)的模型。獲得了ILSVRC 2012年的冠軍，再top-5項(xiàng)目中錯(cuò)誤率僅僅15.3%，相對(duì)于使用傳統(tǒng)方法的亞軍26.2%的成績(jī)優(yōu)良重大突破。和之前的LeNet相比，AlexNet通過(guò)堆疊卷積層使得模型更深更寬。其結(jié)構(gòu)圖如下：

12. 深度學(xué)習(xí)100例-卷積神經(jīng)網(wǎng)絡(luò)（CNN）識(shí)別驗(yàn)證碼 | 第12天

以后寫(xiě)爬蟲(chóng)再也不用擔(dān)心驗(yàn)證碼攔截了！

13. 深度學(xué)習(xí)100例-卷積神經(jīng)網(wǎng)絡(luò)（Inception V3）識(shí)別手語(yǔ) | 第13天

Inception 網(wǎng)絡(luò)是 CNN 分類(lèi)器發(fā)展史上一個(gè)重要的里程碑。在 Inception 出現(xiàn)之前，大部分流行 CNN 僅僅是把卷積層堆疊得越來(lái)越多，使網(wǎng)絡(luò)越來(lái)越深，以此希望能夠得到更好的性能。

例如第一個(gè)得到廣泛關(guān)注的 AlexNet，它本質(zhì)上就是擴(kuò)展 LeNet 的深度，并應(yīng)用一些 ReLU、Dropout 等技巧。AlexNet 有 5 個(gè)卷積層和 3 個(gè)最大池化層，它可分為上下兩個(gè)完全相同的分支，這兩個(gè)分支在第三個(gè)卷積層和全連接層上可以相互交換信息。與 Inception 同年提出的優(yōu)秀網(wǎng)絡(luò)還有 VGG-Net，它相比于 AlexNet 有更小的卷積核和更深的層級(jí)。

VGG-Net 的泛化性能非常好，常用于圖像特征的抽取目標(biāo)檢測(cè)候選框生成等。VGG 最大的問(wèn)題就在于參數(shù)數(shù)量，VGG-19 基本上是參數(shù)量最多的卷積網(wǎng)絡(luò)架構(gòu)。這一問(wèn)題也是第一次提出 Inception 結(jié)構(gòu)的 GoogLeNet 所重點(diǎn)關(guān)注的，它沒(méi)有如同 VGG-Net 那樣大量使用全連接網(wǎng)絡(luò)，因此參數(shù)量非常小。

14. 深度學(xué)習(xí)100例-卷積神經(jīng)網(wǎng)絡(luò)（Inception-ResNet-v2）識(shí)別交通標(biāo)志 | 第14天

受到 ResNet 的優(yōu)越性能啟發(fā)，研究者提出了一種混合 inception 模塊。Inception ResNet 有兩個(gè)子版本：v1 和 v2。這兩個(gè)子版本之間的存在微小差異：

• Inception-ResNet v1 的計(jì)算成本和 Inception v3 的接近。
• Inception-ResNetv2 的計(jì)算成本和 Inception v4 的接近。

本文主要對(duì)Inception-ResNetv2進(jìn)行復(fù)現(xiàn)

15. 深度學(xué)習(xí)100例-卷積神經(jīng)網(wǎng)絡(luò)（CNN）實(shí)現(xiàn)車(chē)牌識(shí)別 | 第15天

應(yīng)讀者的要求寫(xiě)了一個(gè)識(shí)別車(chē)牌的CNN。

16. 深度學(xué)習(xí)100例-卷積神經(jīng)網(wǎng)絡(luò)（CNN）識(shí)別神奇寶貝小智一伙 | 第16天

都是童年的味道~

17. 深度學(xué)習(xí)100例-卷積神經(jīng)網(wǎng)絡(luò)（CNN）注意力檢測(cè) | 第17天

一個(gè)比較特別的案例~

18. 深度學(xué)習(xí)100例-生成對(duì)抗網(wǎng)絡(luò)（GAN）手寫(xiě)數(shù)字生成 | 第18天

生成對(duì)抗網(wǎng)絡(luò)（GAN）是當(dāng)今計(jì)算機(jī)科學(xué)領(lǐng)域最有趣的想法之一。兩個(gè)模型通過(guò)對(duì)抗過(guò)程同時(shí)訓(xùn)練。一個(gè)生成器模型（“藝術(shù)家”）學(xué)習(xí)創(chuàng)造看起來(lái)真實(shí)的圖像，而判別器模型（“藝術(shù)評(píng)論家”）學(xué)習(xí)區(qū)分真假圖像。GAN 的應(yīng)用十分廣泛，它的應(yīng)用包括圖像合成、風(fēng)格遷移、照片修復(fù)以及照片編輯，數(shù)據(jù)增強(qiáng)等等。

19. 深度學(xué)習(xí)100例-生成對(duì)抗網(wǎng)絡(luò)（DCGAN）手寫(xiě)數(shù)字生成 | 第19天

DCGAN是原始GAN之后的又一種模型。它將GAN與CNN相結(jié)合，奠定后幾乎所有GAN的基本網(wǎng)絡(luò)架構(gòu)。DCGAN極大地提升了原始GAN訓(xùn)練的穩(wěn)定性以及生成結(jié)果質(zhì)量。

20. 深度學(xué)習(xí)100例-生成對(duì)抗網(wǎng)絡(luò)（DCGAN）生成動(dòng)漫小姐姐 | 第20天

畫(huà)面極度舒適建議，強(qiáng)烈建議前往觀看！

🚀 深度學(xué)習(xí)新人必看：《小白入門(mén)深度學(xué)習(xí)》

小白入門(mén)深度學(xué)習(xí) | 第一篇：配置深度學(xué)習(xí)環(huán)境

小白入門(mén)深度學(xué)習(xí) | 第二篇：編譯器的使用-Jupyter Notebook

小白入門(mén)深度學(xué)習(xí) | 第三篇：深度學(xué)習(xí)初體驗(yàn)

總結(jié)

以上是生活随笔為你收集整理的二十万字！耗时90天的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。