CNN的几种经典模型
本文主要介紹一下CNN的幾種經(jīng)典模型比較。之前自己也用過AlexNet和GoogleNet，網(wǎng)絡(luò)上關(guān)于各種模型的介紹更是形形色色，自己就想著整理一下，以備自己以后查閱方便
LeNet5
先放一張圖，我感覺凡是對深度學習有涉獵的人，對這張圖一定不會陌生，這就是最早的LeNet5的平面結(jié)構(gòu)圖。
Lenet5誕生于1994年，是最早的卷積神經(jīng)網(wǎng)絡(luò)之一，并且推動了深度學習的發(fā)展。Caffe中LeNet的配置文件，從中我們可以看出Lenet5由兩個卷積層，兩個池化層，以及兩個全連接層組成。卷積都是5*5的filter，步長為1,。池化都是max-pooling
Lenet5特征能夠總結(jié)為如下幾點：
（1）卷積神經(jīng)網(wǎng)絡(luò)使用三個層作為一個系列：卷積、池化、非線性
（2）使用卷積提取空間特征
（3）使用映射到空間均值下采樣
（4）雙曲線（tanh）或s型（sigmoid）形式的非線性
（5）多層神經(jīng)網(wǎng)絡(luò)（MLP）作為最后的分類器
（6）層與層之間的稀疏鏈接矩陣避免大的計算成本
AlexNet
2012年，ImageNet比賽冠軍的model–Alexnet，可以說是LeNet的一種更深更寬的版本。AlexNet包含了6億3000萬個連接，6000萬個參數(shù)和65萬個神經(jīng)元，擁有5個卷積層，其中3個卷積層后面連接了最大池化層，最后還有3個全連接層。AlextNet以顯著的優(yōu)勢贏得了ILSVRC比賽的冠軍，top-5的錯誤率從之前的25.8%降低至16.4。 AlexNet的Caffe的model文件
上圖之所以分為兩層，是因為AlexNet訓練時用了兩塊GPU。
ALexNet的主要技術(shù)點在于：
（1）使用RELU作為CNN的激活函數(shù)，解決了sigmoid在網(wǎng)絡(luò)較深時的梯度彌散問題。
（2）訓練時使用了Dropout隨機忽略一部分神經(jīng)元，以避免模型過擬合。
（3）在CNN中使用重疊的最大池化，步長小于池化核，這樣輸出之間會有重疊和覆蓋，提升了特征的豐富性。此前CNN普遍使用平均池化，AlexNet全部使用最大池化，避免平均池化的模糊性效果。
（4）提出了LRN層，對局部神經(jīng)元的活動創(chuàng)建競爭機制，使得其中響應(yīng)比較大的值變得相對更大，并抑制其他反饋比較小的神經(jīng)元，增強了模型的泛化能力。
（5）使用CUDA加速深度卷積網(wǎng)絡(luò)的訓練，利用GPU強大的并行計算能力，處理神經(jīng)網(wǎng)絡(luò)訓練時大量的矩陣計算。AlexNet使用了兩塊GTX?580?GPU進行訓練，單個GTX?580只有3GB顯存，這限制了可訓練的網(wǎng)絡(luò)的最大規(guī)模。因此作者將AlexNet分布在兩個GPU上，在每個GPU的顯存中儲存一半的神經(jīng)元的參數(shù)。因為GPU之間通信方便，可以互相訪問顯存，而不需要通過主機內(nèi)存，所以同時使用多塊GPU也是非常高效的。同時，AlexNet的設(shè)計讓GPU之間的通信只在網(wǎng)絡(luò)的某些層進行，控制了通信的性能損耗。?
（6）使用數(shù)據(jù)增強，減輕過擬合，提高泛化能力
具體打開AlextNet的每一階段來看：
VGG
VGG是第一個在各個卷積層使用更小的3*3過濾器（filter），并把他們組合作為一個卷積序列進行 處理的網(wǎng)絡(luò)，它的特點就是連續(xù)conv多，計算量巨大。
VGG的巨大進展是通過依次采用多個3*3卷積，能夠模擬出更大的感受野（receptive field）的效果，兩個3*3卷積可以模擬出5*5的感受野，三個3*3的卷積可以模擬出7*7的感受野
VGG 網(wǎng)絡(luò)使用多個 3×3 卷積層去表征復雜特征。注意 VGG-E 的第 3、4、5 塊（block）：256×256 和 512×512 個 3×3 過濾器被依次使用多次以提取更多復雜特征以及這些特征的組合。其效果就等于是一個帶有 3 個卷積層的大型的 512×512 大分類器。這顯然意味著有大量的參數(shù)與學習能力。但是這些網(wǎng)絡(luò)訓練很困難，必須劃分到較小的網(wǎng)絡(luò)，并逐層累加。這是因為缺少強大的方式對模型進行正則化，或者或多或少約束大量由于大量參數(shù)增長的搜索空間。
VGG-16和VGG-19的表現(xiàn)效果差不多，所以工業(yè)上還是用VGG-16的比較多
VGG用反復堆疊3*3的小型卷積核和2*2的最大池化層，通過不斷加深網(wǎng)絡(luò)結(jié)構(gòu)來提升性能，VGGNet成功地構(gòu)筑了16-19層的深度卷積網(wǎng)絡(luò)。
VGG拓展性很強，遷移到其他圖片數(shù)據(jù)上的泛化性非常好。
整個網(wǎng)絡(luò)都是用同樣大小的卷積核尺寸（3*3）和最大池化尺寸（2*2），可以用來提取特征。
用VGG的模型在domain specific的圖像分類任務(wù)上進行再訓練相當于提供了非常好的初始化權(quán)重
表一所示為VGGNet各級別的網(wǎng)絡(luò)結(jié)構(gòu)圖，表2所示為每一級別的參數(shù)量，從11層的網(wǎng)絡(luò)一直到19層的網(wǎng)絡(luò)都有詳盡的性能測試。雖然從A到E每一級網(wǎng)絡(luò)逐漸變深，但是網(wǎng)絡(luò)的參數(shù)量并沒有增長很多，這是因為參數(shù)量主要都消耗在最后3個全連接層。前面的卷積部分雖然很深，但是消耗的參數(shù)量不大，不過訓練比較耗時的部分依然是卷積，因其計算量比較大。這其中的D、E也就是我們常說的VGGNet-16和VGGNet-19。C很有意思，相比B多了幾個1′1的卷積層，1′1卷積的意義主要在于線性變換，而輸入通道數(shù)和輸出通道數(shù)不變，沒有發(fā)生降維。
VGGNet擁有5段卷積，每一段內(nèi)有2~3個卷積層，同時每段尾部會連接一個最大池化層用來縮小圖片尺寸。每段內(nèi)的卷積核數(shù)量一樣，越靠后的段的卷積核數(shù)量越多：64?–?128?–?256?–?512?–?512。
VGGNet在訓練時有一個小技巧，先訓練級別A的簡單網(wǎng)絡(luò)，再復用A網(wǎng)絡(luò)的權(quán)重來初始化后面的幾個復雜模型，這樣訓練收斂的速度更快。在預測時，VGG采用Multi-Scale的方法，將圖像scale到一個尺寸Q，并將圖片輸入卷積網(wǎng)絡(luò)計算。然后在最后一個卷積層使用滑窗的方式進行分類預測，將不同窗口的分類結(jié)果平均，再將不同尺寸Q的結(jié)果平均得到最后結(jié)果，這樣可提高圖片數(shù)據(jù)的利用率并提升預測準確率。同時在訓練中，VGGNet還使用了Multi-Scale的方法做數(shù)據(jù)增強，將原始圖像縮放到不同尺寸S，然后再隨機裁切224′224的圖片，這樣能增加很多數(shù)據(jù)量，對于防止模型過擬合有很不錯的效果。
實踐中，作者令S在[256,512]這個區(qū)間內(nèi)取值，使用Multi-Scale獲得多個版本的數(shù)據(jù)，并將多個版本的數(shù)據(jù)合在一起進行訓練。最終提交到ILSVRC?2014的版本是僅使用Single-Scale的6個不同等級的網(wǎng)絡(luò)與Multi-Scale的D網(wǎng)絡(luò)的融合，達到了7.3%的錯誤率。不過比賽結(jié)束后作者發(fā)現(xiàn)只融合Multi-Scale的D和E可以達到更好的效果，錯誤率達到7.0%，再使用其他優(yōu)化策略最終錯誤率可達到6.8%左右，非常接近同年的冠軍Google?Inceptin?Net。同時，作者在對比各級網(wǎng)絡(luò)時總結(jié)出了以下幾個觀點。
（1）LRN層作用不大。
（2）越深的網(wǎng)絡(luò)效果越好。
（3）1′1的卷積也是很有效的，但是沒有3′3的卷積好，大一些的卷積核可以學習更大的空間特征。
接下來主要解析下VGG-16:
VGG模型主要關(guān)注的是網(wǎng)絡(luò)的深度，因此它固定了網(wǎng)絡(luò)的其他參數(shù)，通過增加卷積層來增加網(wǎng)絡(luò)的深度
網(wǎng)絡(luò)架構(gòu)：
訓練輸入：固定尺寸224*224的RGB圖像。
預處理：每個像素值減去訓練集上的RGB均值。
卷積核：一系列3*3卷積核堆疊，步長為1，采用padding保持卷積后圖像空 間分辨率不變。
空間池化：緊隨卷積“堆”的最大池化，為2*2滑動窗口，步長為2。
全連接層：特征提取完成后，接三個全連接層，前兩個為4096通道,第三個為1000通道，最后是一個soft-max層，輸出概率。
所有隱藏層都用非線性修正ReLu.
使用3*3卷積的優(yōu)點：
三個卷積堆疊具有三個非線性修正層，使模型更具判別性；
其次三個 3*3卷積參數(shù)量更少，相當于在7*7卷積核上加入了正則化,便于加快訓練.
下圖來看,在計算量這里，為了突出小卷積核的優(yōu)勢，拿同conv3x3、conv5x5、conv7x7、conv9x9和conv11x11，在224x224x3的RGB圖上（設(shè)置pad=1，stride=4，output_channel=96）做卷積，卷積層的參數(shù)規(guī)模和得到的feature map的大小如下:
分類框架：
a):訓練
訓練方法基本與AlexNet一致，除了多尺度訓練圖像采樣方法不一致。 訓練采用mini-batch梯度下降法，batch size=256；
采用動量優(yōu)化算法，momentum=0.9；
采用L2正則化方法，懲罰系數(shù)0.00005；
dropout比率設(shè)為0.5；
初始學習率為0.001，當驗證集準確率不再提高時，學習率衰減為原來的0.1 倍，總共下降三次；
總迭代次數(shù)為370K（74epochs）；
數(shù)據(jù)增強采用隨機裁剪，水平翻轉(zhuǎn)，RGB顏色變化；
設(shè)置訓練圖片大小的兩種方法：
定義S代表經(jīng)過各向同性縮放的訓練圖像的最小邊。
第一種方法針對單尺寸圖像訓練，S=256或384，輸入圖片從中隨機裁剪 224*224大小的圖片，原則上S可以取任意不小于224的值。
第二種方法是多尺度訓練，每張圖像單獨從[Smin ,Smax ]中隨機選取S來進行尺 寸縮放，由于圖像中目標物體尺寸不定，因此訓練中采用這種方法是有效的，可看作一種尺寸抖動的訓練集數(shù)據(jù)增強。
論文中提到，網(wǎng)絡(luò)權(quán)重的初始化非常重要，由于深度網(wǎng)絡(luò)梯度的不穩(wěn)定性， 不合適的初始化會阻礙網(wǎng)絡(luò)的學習。因此我們先訓練淺層網(wǎng)絡(luò)，再用訓練好的淺層網(wǎng)絡(luò)去初始化深層網(wǎng)絡(luò)。
b):測試
測試階段，對于已訓練好的卷積網(wǎng)絡(luò)和一張輸入圖像，采用以下方法分類：
首先，圖像的最小邊被各向同性的縮放到預定尺寸Q；
然后，將原先的全連接層改換成卷積層，在未裁剪的全圖像上運用卷積網(wǎng)絡(luò)， 輸出是一個與輸入圖像尺寸相關(guān)的分類得分圖，輸出通道數(shù)與類別數(shù)相同；
最后，對分類得分圖進行空間平均化，得到固定尺寸的分類得分向量。
我們同樣對測試集做數(shù)據(jù)增強，采用水平翻轉(zhuǎn)，最終取原始圖像和翻轉(zhuǎn)圖像 的soft-max分類概率的平均值作為最終得分。 由于測試階段采用全卷積網(wǎng)絡(luò)，無需對輸入圖像進行裁剪，相對于多重裁剪效率會更高。但多重裁剪評估和運用全卷積的密集評估是互補的，有助于性能提升。
VGG的模型表明深度有利于分類準確率的提升，并且一個比較重要的思想是卷積可代替全連接。整體參數(shù)達1億4千萬，主要在于第一個全連接層，用卷積代替后，參數(shù)量下降且無精度損失
GoogleNet與Inception
來自谷歌的 Christian Szegedy 開始追求減少深度神經(jīng)網(wǎng)絡(luò)的計算開銷，并設(shè)計出 GoogLeNet——第一個 Inception 架構(gòu)（參見：Going Deeper with Convolutions）。
那是在 2014 年秋季，深度學習模型正在變得在圖像與視頻幀的分類中非常有用。大多數(shù)懷疑者已經(jīng)不再懷疑深度學習與神經(jīng)網(wǎng)絡(luò)這一次是真的回來了，而且將一直發(fā)展下去。鑒于這些技術(shù)的用處，谷歌這樣的互聯(lián)網(wǎng)巨頭非常有興趣在他們的服務(wù)器上高效且大規(guī)模龐大地部署這些架構(gòu)。
Christian 考慮了很多關(guān)于在深度神經(jīng)網(wǎng)絡(luò)達到最高水平的性能（例如在 ImageNet 上）的同時減少其計算開銷的方式。或者在能夠保證同樣的計算開銷的前提下對性能有所改進。
他和他的團隊提出了 Inception 模塊：
初看之下這不過基本上是 1×1、3×3、5×5 卷積過濾器的并行組合。但是 Inception 的偉大思路是用 1×1 的卷積塊（NiN）在昂貴的并行模塊之前減少特征的數(shù)量。這一般被稱為「瓶頸（bottleneck）」。
GoogLeNet 使用沒有 inception 模塊的主干作為初始層，之后是與 NiN 相似的一個平均池化層加 softmax 分類器。這個分類器比 AlexNet 與 VGG 的分類器的運算數(shù)量少得多。這也促成一項非常有效的網(wǎng)絡(luò)設(shè)計，參見論文：An Analysis of Deep Neural Network Models for Practical Applications。
Google?Inception?Net首次出現(xiàn)在ILSVRC?2014的比賽中（和VGGNet同年），就以較大優(yōu)勢取得了第一名。那屆比賽中的Inception?Net通常被稱為Inception?V1，它最大的特點是控制了計算量和參數(shù)量的同時，獲得了非常好的分類性能——top-5錯誤率6.67%，只有AlexNet的一半不到。Inception?V1有22層深，比AlexNet的8層或者VGGNet的19層還要更深。但其計算量只有15億次浮點運算，同時只有500萬的參數(shù)量，僅為AlexNet參數(shù)量（6000萬）的1/12，卻可以達到遠勝于AlexNet的準確率，可以說是非常優(yōu)秀并且非常實用的模型。
Inception?V1降低參數(shù)量的目的有兩點，第一，參數(shù)越多模型越龐大，需要供模型學習的數(shù)據(jù)量就越大，而目前高質(zhì)量的數(shù)據(jù)非常昂貴；第二，參數(shù)越多，耗費的計算資源也會更大。Inception?V1參數(shù)少但效果好的原因除了模型層數(shù)更深、表達能力更強外，還有兩點：一是去除了最后的全連接層，用全局平均池化層（即將圖片尺寸變?yōu)?′1）來取代它。全連接層幾乎占據(jù)了AlexNet或VGGNet中90%的參數(shù)量，而且會引起過擬合，去除全連接層后模型訓練更快并且減輕了過擬合。用全局平均池化層取代全連接層的做法借鑒了Network?In?Network（以下簡稱NIN）論文。二是Inception?V1中精心設(shè)計的Inception?Module提高了參數(shù)的利用效率，這一部分也借鑒了NIN的思想，形象的解釋就是Inception?Module本身如同大網(wǎng)絡(luò)中的一個小網(wǎng)絡(luò)，其結(jié)構(gòu)可以反復堆疊在一起形成大網(wǎng)絡(luò)。不過Inception?V1比NIN更進一步的是增加了分支網(wǎng)絡(luò)，NIN則主要是級聯(lián)的卷積層和MLPConv層。一般來說卷積層要提升表達能力，主要依靠增加輸出通道數(shù)，但副作用是計算量增大和過擬合。每一個輸出通道對應(yīng)一個濾波器，同一個濾波器共享參數(shù)，只能提取一類特征，因此一個輸出通道只能做一種特征處理。而NIN中的MLPConv則擁有更強大的能力，允許在輸出通道之間組合信息，因此效果明顯。可以說，MLPConv基本等效于普通卷積層后再連接1′1的卷積和ReLU激活函數(shù)。
Inception V1
受到 NiN 的啟發(fā)，Inception 的瓶頸層（Bottleneck Layer）減少了每一層的特征的數(shù)量，并由此減少了運算的數(shù)量；所以可以保持較低的推理時間。在將數(shù)據(jù)通入昂貴的卷積模塊之前，特征的數(shù)量會減少 4 倍。在計算成本上這是很大的節(jié)約，也是該架構(gòu)的成功之處。
Naive Inception：
Inception module 的提出主要考慮多個不同 size 的卷積核能夠增強網(wǎng)絡(luò)的適應(yīng)力，paper 中分別使用1*1、3*3、5*5卷積核，同時加入3*3 max pooling。
隨后文章指出這種 naive 結(jié)構(gòu)存在著問題：
每一層 Inception module 的 filters 參數(shù)量為所有分支上的總數(shù)和，多層 Inception 最終將導致 model 的參數(shù)數(shù)量龐大，對計算資源有更大的依賴。
在 NIN 模型中與1*1卷積層等效的 MLPConv 既能跨通道組織信息，提高網(wǎng)絡(luò)的表達能力，同時可以對輸出有效進行降維，因此文章提出了Inception module with dimension reduction，在不損失模型特征表示能力的前提下，盡量減少 filters 的數(shù)量，達到降低模型復雜度的目的：
如下圖所示，Inception Module：
Inception Module 的4個分支在最后通過一個聚合操作合并（在輸出通道數(shù)這個維度上聚合）。
完整的 GoogLeNet 結(jié)構(gòu)在傳統(tǒng)的卷積層和池化層后面引入了 Inception 結(jié)構(gòu)，對比 AlexNet 雖然網(wǎng)絡(luò)層數(shù)增加，但是參數(shù)數(shù)量減少的原因是絕大部分的參數(shù)集中在全連接層，最終取得了 ImageNet 上 6.67% 的成績。
Inception V2網(wǎng)絡(luò)
2015 年 2 月，Batch-normalized Inception 被引入作為 Inception V2（參見論文：Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift）。
Inception V2 學習了 VGG 用兩個3′3的卷積代替5′5的大卷積，在降低參數(shù)的同時建立了更多的非線性變換，使得 CNN 對特征的學習能力更強：
另外提出了著名的 Batch Normalization（以下簡稱BN）方法。BN 是一個非常有效的正則化方法，可以讓大型卷積網(wǎng)絡(luò)的訓練速度加快很多倍，同時收斂后的分類準確率也可以得到大幅提高。BN 在用于神經(jīng)網(wǎng)絡(luò)某層時，會對每一個 mini-batch 數(shù)據(jù)的內(nèi)部進行標準化（normalization）處理，使輸出規(guī)范化到 N(0,1) 的正態(tài)分布，減少了 Internal Covariate Shift（內(nèi)部神經(jīng)元分布的改變）。
BN 的論文指出，傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)在訓練時，每一層的輸入的分布都在變化，導致訓練變得困難，我們只能使用一個很小的學習速率解決這個問題。而對每一層使用 BN 之后，我們就可以有效地解決這個問題，學習速率可以增大很多倍，達到之前的準確率所需要的迭代次數(shù)只有1/14，訓練時間大大縮短。而達到之前的準確率后，可以繼續(xù)訓練，并最終取得遠超于 Inception V1 模型的性能—— top-5 錯誤率 4.8%，已經(jīng)優(yōu)于人眼水平。因為 BN 某種意義上還起到了正則化的作用，所以可以減少或者取消 Dropout 和 LRN，簡化網(wǎng)絡(luò)結(jié)構(gòu)。
Inception V3
一是引入了 Factorization into small convolutions 的思想，將一個較大的二維卷積拆成兩個較小的一維卷積，比如將7′7卷積拆成1′7卷積和7′1卷積，或者將3′3卷積拆成1′3卷積和3′1卷積，如上圖所示。一方面節(jié)約了大量參數(shù)，加速運算并減輕了過擬合（比將7′7卷積拆成1′7卷積和7′1卷積，比拆成3個3′3卷積更節(jié)約參數(shù)），同時增加了一層非線性擴展模型表達能力。論文中指出，這種非對稱的卷積結(jié)構(gòu)拆分，其結(jié)果比對稱地拆為幾個相同的小卷積核效果更明顯，可以處理更多、更豐富的空間特征，增加特征多樣性。
另一方面，Inception V3 優(yōu)化了 Inception Module 的結(jié)構(gòu)，現(xiàn)在 Inception Module 有35′35、17′17和8′8三種不同結(jié)構(gòu)。這些 Inception Module 只在網(wǎng)絡(luò)的后部出現(xiàn)，前部還是普通的卷積層。并且 Inception V3 除了在 Inception Module 中使用分支，還在分支中使用了分支（8′8的結(jié)構(gòu)中），可以說是Network In Network In Network。最終取得 top-5 錯誤率 3.5%。
Inception V4
Inception V4 相比 V3 主要是結(jié)合了微軟的 ResNet，將錯誤率進一步減少到 3.08%。
總結(jié)：
Inception V1——構(gòu)建了1x1、3x3、5x5的 conv 和3x3的 pooling 的分支網(wǎng)絡(luò)，同時使用 MLPConv 和全局平均池化，擴寬卷積層網(wǎng)絡(luò)寬度，增加了網(wǎng)絡(luò)對尺度的適應(yīng)性；
Inception V2——提出了 Batch Normalization，代替 Dropout 和 LRN，其正則化的效果讓大型卷積網(wǎng)絡(luò)的訓練速度加快很多倍，同時收斂后的分類準確率也可以得到大幅提高，同時學習 VGG 使用兩個3′3的卷積核代替5′5的卷積核，在降低參數(shù)量同時提高網(wǎng)絡(luò)學習能力；
Inception V3——引入了 Factorization，將一個較大的二維卷積拆成兩個較小的一維卷積，比如將3′3卷積拆成1′3卷積和3′1卷積，一方面節(jié)約了大量參數(shù)，加速運算并減輕了過擬合，同時增加了一層非線性擴展模型表達能力，除了在 Inception Module 中使用分支，還在分支中使用了分支（Network In Network In Network）；
Inception V4——研究了 Inception Module 結(jié)合 Residual Connection，結(jié)合 ResNet 可以極大地加速訓練，同時極大提升性能，在構(gòu)建 Inception-ResNet 網(wǎng)絡(luò)同時，還設(shè)計了一個更深更優(yōu)化的 Inception v4 模型，能達到相媲美的性能。
文章主要參考：
https://blog.csdn.net/xbinworld/article/details/45619685
https://blog.csdn.net/maxiao1204/article/details/65653781
https://zhuanlan.zhihu.com/p/37706726
http://lib.csdn.net/article/aimachinelearning/66253
總結(jié)
以上是生活随笔為你收集整理的CNN的几种经典模型的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 《C++ Primer 5th》笔记（6
- 下一篇： 《游戏编程入门 4th》笔记（2 / 1