卷積神經(jīng)網(wǎng)絡(luò)典型CNN

• LeNet：最早用于數(shù)字識別的CNN
• LeNet5：現(xiàn)在常說的一般就是LeNet5
• AlexNet：2012ILSVRC冠軍，遠超第二名的CNN，比LeNet更深，用多層小卷積疊加來替換單個的大卷積
• ZF Net：2013ILSVRC冠軍
• GoogLeNet：2014ILSVRC冠軍
• VGGNet：2014ILSVRC比賽中算法模型，效果率低于GoogleNet
• ResNet：2015ILSVRC冠軍，結(jié)構(gòu)修正以適應(yīng)更深層次的CNN訓(xùn)練

卷積神經(jīng)網(wǎng)絡(luò)典型CNN-LeNet

卷積神經(jīng)網(wǎng)絡(luò)典型CNN-LeNet5

網(wǎng)絡(luò)結(jié)構(gòu)

C1層是一個卷積層（卷積+激勵）

• input：1*32*32
• filter：1*5*5
• stripe：1?? ??? ??? ??? ?
• padding：0?? ??? ??? ??? ?
• filter size/depth：6?? ??? ??? ??? ?
• output：6*28*28?? ??? ??? ??? ?
• 神經(jīng)元數(shù)目：6*28*28?? ??? ??? ??? ?
• 參數(shù)個數(shù)：(1*5*5+1)*6=156。每個特征圖內(nèi)共享參數(shù)，因此參數(shù)總數(shù)：共（5*5+1）*6=156個參數(shù)
• 連接方式：普通的卷積連接方式?? ?
• 每個卷積神經(jīng)元的參數(shù)數(shù)目：5*5=25個weight參數(shù)和一個bias參數(shù)
• 鏈接數(shù)目：（5*5+1）*6*（28*28）=122304個鏈接

S2層是一個下采樣層（池化）

• input：6*28*28
• filter：2*2
• padding：0
• stripe：2
• output：6*14*14。每個圖中的每個單元與C1特征圖中的一個2*2鄰域相連接，不重疊。因此，S2中每個特征圖的大小是C1中的特征圖大小的1/4
• 神經(jīng)元數(shù)目：6*14*14
• 參數(shù)個數(shù)：0?? ??? ??? ?
• 連接方式：普通的最大池化方式

=========================================================================

現(xiàn)在 lenet5 多用改進的池化，池化方式如下

• S2層每個單元的4個輸入相加，乘以一個可訓(xùn)練參數(shù)w，再加上一個可訓(xùn)練偏置b，結(jié)果通過sigmoid函數(shù)計算
• 連接數(shù)：（2*2+1）*1*14*14*6=5880個
• 參數(shù)共享：每個特征圖內(nèi)共享參數(shù)，因此有2*6=12個可訓(xùn)練參數(shù)

C3層是一個卷積層（卷積+激勵）

• input：6*14*14?? ??? ??? ??? ??? ??? ??? ??? ??? ??? ?
• filter：?*5*5?? ?6*5*5?? ??? ??? ??? ??? ??? ??? ??? ??? ?
• stripe：1?? ??? ??? ??? ??? ??? ??? ??? ??? ??? ?
• padding：0?? ??? ??? ??? ??? ??? ??? ??? ??? ??? ?
• filter size/depth：16?? ??? ??? ??? ??? ??? ??? ??? ??? ??? ?
• output：16*10*10? ? ? ? ? ?
• 神經(jīng)元數(shù)目：16*10*10?? ??? ??? ??? ??? ??? ??? ??? ??? ??? ?
• 參數(shù)個數(shù)：(3*5*5+1)*6+(4*5*5+1)*9+(6*5*5+1)*1=1516?? ??? ??? ??? ??? ??? ??? ??? ??? ?
• 連接方式(S2->C3)?? ?不是普通的卷積操作，是卷積操作的變種。"最終輸出的16個fetaure map中，對應(yīng)的前六個卷積核是和s2中輸出的六個feature map中的任意3個feature map做卷積，中間九個卷積核是和s2中輸出的六個feature map中的任意4個feature map做卷積，最后一個卷積核是和六個feature map做卷積"。
  • 好處：
    • 1. 不需要使用全部的feature map，這樣有連接的feature map的連接數(shù)/參數(shù)數(shù)量可以保持在一定范圍，直白來講：相對于傳統(tǒng)的卷積操作，降低了網(wǎng)絡(luò)的參數(shù)數(shù)據(jù)量
    • 2. 可以打破網(wǎng)絡(luò)的對稱結(jié)構(gòu)，不同的卷積核可以得到不同的特征信息

S4層是一個下采樣層（池化）

• input:16*10*10
• filter:2*2
• padding:0
• stripe:2
• output:16*5*5
• 神經(jīng)元數(shù)目:16*5*5
• 參數(shù)個數(shù):0
• 連接方式:普通的最大池化方式

=========================================================================

現(xiàn)在 lenet5 多用改進的池化，池化方式如下

• S4層每個單元的4個輸入相加，乘以一個可訓(xùn)練參數(shù)w，再加上一個可訓(xùn)練偏置b，結(jié)果通過sigmoid函數(shù)計算
• 連接數(shù)：（2*2+1）*5*5*16=2000個
• 參數(shù)共享：特征圖內(nèi)共享參數(shù)，每個特征圖中的每個神經(jīng)元需要1個因子和一個偏置，因此有2*16個可訓(xùn)練參數(shù)。

C5層是一個卷積層（卷積+激勵）

• input：16*5*5
• filter：16*5*5（沒有共享卷積核）
• stripe：1
• padding：0
• filter size/depth：120
• output：120*1*1
• 神經(jīng)元數(shù)目：120*1*1
• 參數(shù)個數(shù)：(16*5*5+1)*120=48120
• 連接數(shù)：(16*5*5+1)*120=48120
• 連接方式:普通的卷積操作。好處、作用:當(dāng)網(wǎng)絡(luò)結(jié)構(gòu)不變，如果輸入的大小發(fā)生變化，那么C4的輸出就不是120啦。120個神經(jīng)元，可以看作120個特征圖，每張?zhí)卣鲌D的大小為1*1，每個單元與S4層的全部16個單元的5*5鄰域相連（S4和C5之間的全連接）

F6層是一個全連接層

• input：120
• output：84
• 神經(jīng)元數(shù)目：84
• 參數(shù)個數(shù)：(120+1)*84=10164
• 連接數(shù)：（120+1）*84=10164
• 有84個單元（之所以選這個數(shù)字的原因來自于輸出層的設(shè)計），與C5層全連接。84：stylized image：7*12

輸出層采用歐氏徑向基函數(shù)單元

• input：84
• output：10
• 神經(jīng)元數(shù)目：10
• 參數(shù)數(shù)目：84*10=840
• 給定一個輸入模式，損失函數(shù)應(yīng)能使得F6的配置與RBF參數(shù)向量（即模式的期望分類）足夠接近。
• 每類一個單元，每個單元連接84個輸入；每個輸出RBF單元計算輸入向量和參數(shù)向量之間的歐式距離。
• RBF輸出可以被理解為F6層配置空間的高斯分布的對數(shù)似然【-log-likelihood】

卷積神經(jīng)網(wǎng)絡(luò)CNN性能演進歷程

總結(jié)

以上是生活随笔為你收集整理的深度学习之卷积神经网络 LeNet的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。