全连接层的介绍
?將多次卷積和池化后的圖像展開進行全連接,如下圖所示。?
全連接層需要把輸入拉成一個列項向量
?????????比如你的輸入的feature map是2X2,那么就需要把這個feature map 拉成4X1的列向量,如果你的feature map 的channels是3,也就是你的輸入是3X2X2,也就是相當于有了12個像素點,你就需要把feature map 拉成12X1的列向量,這時候,再乘一個權重,這個權重要把12個像素點都包含進去,所以這個權重的矩陣形式應該是1X12,所以經過一個全連接層后的輸出就是1X12X12X1=1X1,這時候需要看你的需要多少個1X1的神經元了,如果是3個的話,那么輸出就是3X(1X12X12X1)=3X(1X1).這個3在權重矩陣中代表3行,即每一行與輸入相乘,得到一個輸出。
全連接層的推導
全連接層的每一個結點都與上一層的所有結點相連,用來把前邊提取到的特征綜合起來。由于其全相連的特性,一般全連接層的參數也是最多的。
全連接層的前向計算
下圖中連線最密集的2個地方就是全連接層,這很明顯的可以看出全連接層的參數的確很多。在前向計算過程,也就是一個線性的加權求和的過程,全連接層的每一個輸出都可以看成前一層的每一個結點乘以一個權重系數W,最后加上一個偏置值b得到,即 。如下圖中第一個全連接層,輸入有50*4*4個神經元結點,輸出有500個結點,則一共需要50*4*4*500=400000個權值參數W和500個偏置參數b。
總結
- 上一篇: 卷积神经网络CNN——图像卷积与反卷积(
- 下一篇: c++关于map的find和count的