文章首發(fā)于微信公眾號(hào)《與有三學(xué)AI》

【模型解讀】network in network中的1*1卷積，你懂了嗎

這是深度學(xué)習(xí)模型解讀第二篇，本篇我們將介紹Network?InNetwork。

作者&編輯 | 言有三

Network?In?Network?是發(fā)表于2014年ICLR的一篇paper。這篇文章采用較少參數(shù)就取得了Alexnet的效果，Alexnet參數(shù)大小為230M，而Network?In?Network僅為29M，這篇paper主要兩大亮點(diǎn)：

?

01 提出MLP卷積層

下圖是傳統(tǒng)卷積結(jié)構(gòu)：

使用relu的一個(gè)非線性變換操作為：

i,j表示像素下標(biāo)，xi,j表示像素值，wk表示卷積參數(shù)，k就是下標(biāo)的索引。

MLP卷積層結(jié)構(gòu)如下圖：

mlpconv層的計(jì)算公式為：

i,j表示像素下標(biāo)，xi,j表示像素值，wk,n表示第n層卷積卷積參數(shù)。

從以上可以看出，MLP卷積層通過疊加"micro?network"網(wǎng)絡(luò)，提高非線性表達(dá)，而其中的"micro?network"基本組成單元是1*1卷積網(wǎng)路，說到這，就要解釋一下1*1卷積了，該篇論文是首次提出1*1卷積，具有劃時(shí)代的意義，之后的Googlenet借鑒了1*1卷積，還專門致謝過這篇論文。

1*1卷積的意義：

1.?實(shí)現(xiàn)了不同通道同一位置的信息融合

?

如上圖，C2融合了C1不同通道同一位置的信息。

2.?可以實(shí)現(xiàn)通道數(shù)的降維或升維

1*1*n，如果n小于之前通道數(shù)，則實(shí)現(xiàn)了降維，如果n大于之前通道數(shù)，則實(shí)現(xiàn)了升維。

?

02 用全局均值池化代替全連接層

首先讓我們看下Network?In?Network的網(wǎng)絡(luò)結(jié)構(gòu)，如下圖。

上圖看出，該網(wǎng)絡(luò)結(jié)構(gòu)有三個(gè)MLP卷積層組成，每個(gè)MLP卷積層分別是一個(gè)普通卷積，加兩個(gè)1*1卷積。以1000分類為例，最后一個(gè)1*1卷積輸出的featuremap大小為6*6*1000。之后每個(gè)featuremap采用全局均值池化，輸出1000個(gè)分類。由于沒有全連接的大量參數(shù)，使用全局均值池化不需要參數(shù)，極大的降低了參數(shù)量。

如下圖是在CIFAR-10?數(shù)據(jù)集中?Global?average?pooling?和?fully?connected測試對(duì)比圖，?從下圖可以看出無參數(shù)的Global?average?pooling層?相比較于有參數(shù)的全連接層錯(cuò)誤率更低。

03 總結(jié)

Network?In?Network通過創(chuàng)新的創(chuàng)建MLP卷積層，提高了網(wǎng)絡(luò)的非線性表達(dá)同時(shí)降低了參數(shù)量，用全局均值池化代替全連接層，極大的降低了參數(shù)量。

?

參考文獻(xiàn)

Lin?M,?Chen?Q,?Yan?S.?Network?In?Network[J].?Computer?Science,?2014

?

同時(shí)，在我的知乎專欄也會(huì)開始同步更新這個(gè)模塊，歡迎來交流

https://zhuanlan.zhihu.com/c_151876233

注：部分圖片來自網(wǎng)絡(luò)

—END—

轉(zhuǎn)載請(qǐng)留言，侵權(quán)必究

本系列的完整目錄：

【模型解讀】從LeNet到VGG，看卷積+池化串聯(lián)的網(wǎng)絡(luò)結(jié)構(gòu)

【模型解讀】network in network中的1*1卷積，你懂了嗎

【模型解讀】GoogLeNet中的inception結(jié)構(gòu)，你看懂了嗎

【模型解讀】說說移動(dòng)端基準(zhǔn)模型MobileNets

【模型解讀】pooling去哪兒了？

【模型解讀】resnet中的殘差連接，你確定真的看懂了？

【模型解讀】“不正經(jīng)”的卷積神經(jīng)網(wǎng)絡(luò)

【模型解讀】“全連接”的卷積網(wǎng)絡(luò)，有什么好？

【模型解讀】從“局部連接”回到“全連接”的神經(jīng)網(wǎng)絡(luò)

【模型解讀】深度學(xué)習(xí)網(wǎng)絡(luò)只能有一個(gè)輸入嗎

【模型解讀】從2D卷積到3D卷積，都有什么不一樣

【模型解讀】淺析RNN到LSTM

感謝各位看官的耐心閱讀，不足之處希望多多指教。后續(xù)內(nèi)容將會(huì)不定期奉上，歡迎大家關(guān)注有三公眾號(hào) 有三AI！

?

?

總結(jié)

以上是生活随笔為你收集整理的【模型解读】network in network中的1*1卷积，你懂了吗的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。