1，CNN概述

卷積神經網絡由輸入層、卷積層、池化層、全連接層和輸出層組成。

通過增加卷積層和池化層，可以得到更深層次的網絡。

與多層感知器相比，卷積神經網絡的參數更少，不容易發生過擬合。

2， 為何CNN更適合圖像問題

2.1 管中窺豹

看image的一小部分，就可以識別這個image了，不用看全

2.2 相同模式

同樣的pattern ，出現在image的不同地方，但是這些image表達的是同一個東西

2.3 降采樣

進行降采樣不會影響image的識別（就是說我行和列都等比例地取一部分）

2.4? CNN的解決之道

3 卷積

3.1 卷積層概述

在第一層卷積層對輸入樣本進行卷積操作后，就可以得到他的特征圖（一個卷積層用同一卷積核對每個輸入樣本進行卷積操作）【一般得到的特征圖尺寸小于原圖大小】

第二層及之后的卷積層把前一層的特征圖作為輸入數據，進行卷積操作。（每個位置對應元素乘積之和）

一個卷積層可能有多個卷積核，每個卷積核對應了一個特征圖。

共享權值（卷積核）帶來的直接好處是減少網絡各層之間的連接，同時又降低了過擬合的風險。

filter里面的值是可以被學出來的。某個位置，有幾個filter，就會有幾個matrix輸出。

對上圖，輸入的channel為3，那么卷積層的每一個filter也有3個channel（這里我們filter的維數為3*3*3），每次卷積的時候channel中27個元素和filter中的27個元素做運算。

3.2 stride 步長

我們可以手動設置stride步長

stride=1的時候：

?n-k表示input中的k*k可以向右移動最多幾個，再加上原始的1

3.3 卷積層和全連接神經網絡之間的聯系

卷積相當于一個連接稀疏的前饋神經網絡（基于視野的稀疏，只有此時filter看到的元素可以參與前向傳播）——減少參數量

每一個filter作用在每一個filter那么大的input矩陣上，權值是共享的——參數量更少了

3.4 理解in_channel和out_channel之間的聯系

以下圖的feature_map為例，輸入是7*7的圖像，其中每個位置不再是一個pixel，而是一個三維向量（即in_channel為3）

為了和in_channel對齊，所以我每一個CNN的filter需要有in_channel（3）個channel（在這里，每一個channel是一個3*3的卷積核?）

輸入的這3*3*3個點和卷積核的3*3*3個點相乘，得到輸出的一個點的值

輸出有out_channel(2)個，每個out_channel需要有一個3*3*3的卷積核

所以一個有in_channel（類似于"行數"）*out_channel（類似于"列數")個3*3的卷積核

也就是說，參數個數為in_channel*out_channel*kenel_height*kernel_width

3.4.1 CNN對于參數個數的增益

我們拿MLP做對比：

kernel size:K=3

input_channel:C_in=3

output_channel:C_oout=64

CNN需要的參數個數：K*K*C_in*C_out=1728

對于一張32*32的圖像，一個MLP需要 （32*32*3）*（32*32*64）=2,0132,6592個參數！

3.5 padding

使用padding，可以讓輸出和輸入尺寸一樣

3.5.1 zero-padding

3.5.2 mirror-padding?

3.5.3 duplicate padding

? ? 用最近的值來填充

3.6 dilation?

dilation 的作用是在不增加參數量數量級的情況下，指數級地提升感受野

3.7 卷積層輸出的大小

3.8 感受野 perceptive field

輸出的一個1*1的格子，可以包含輸入的k*k的信息

n-k+1=1——>n=k

與此同時，這一個1*1的格子，可以看到上上層(2k-1)*(2k-1)的信息

n-k+1=k——>n=2k-1

上上上層：

n-k+1=2k-1——>n=3k-2

3.8.1 感受野和分辨率

?在圖像識別問題的神經網絡中，很常見的操作是逐漸降低特征圖的分辨率。（這個可以由后面的池化操作實現）

?3.9?一維卷積??

4 池化層

n合一操作

經過卷積層的filter之后的輸出：

再經過max-pooling之后的結果：

有不同的池化方式，比較典型的有最大池化、平均池化

參數訓練也是采用誤差反向傳播的方法。誤差只會傳給池化時選定的單元（類似于前面的卷積，filter沒看到的部分是沒有連接的，這些元素的信息是不會前向傳播到后面的元素的；然后沒有被池化層選定的單元連接權重為0，這些元素的信息也是不會前向傳播到后面的元素的。所以只有被選中的元素的信息會傳遞，那么反向傳播更新參數的時候也只會把誤差傳遞給這幾個元素）

4.1 池化操作的輸出大小

和卷積操作一樣

5 flatten+全連接

6 CNN各參數對結果和性能的影響

6.1 卷積核大小

卷積核大小——不會對識別性能有很大的影響

6.2 卷積核數量

卷積核越多，識別越好

6.3 激活函數

Relu和maxout好于sigmoid和tanh

6.4 其他因素的影響

7 CNN應用：deep dream

把CNN一個層上的參數絕對值變大

這樣可以讓原來的特征被識別得更加“夸張”。

8 CNN用于 NLP問題中

一般都是一維卷積（時間維度）

?

9 總結

經過一個卷積層之后，image的深度只取決于這個卷積層的filter數目，和之前卷積層中filter的數目無關

總結

以上是生活随笔為你收集整理的机器学习笔记：CNN卷积神经网络的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。