深度神经网络中Inception-ResNet模块介绍
之前在https://blog.csdn.net/fengbingchun/article/details/113482036 介紹了Inception,在https://blog.csdn.net/fengbingchun/article/details/114167581 介紹了ResNet,這里介紹下深度神經網絡中的Inception-ResNet模塊。
介紹Inception-ResNet的論文名為:《Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning》,論文:https://arxiv.org/pdf/1602.07261.pdf
Inception-ResNet系列主要有Inception-ResNet-v1和Inception-ResNet-v2。
每個Inception模塊的輸出執行Concat操作,而ResNet的每個殘差塊的輸出執行Eltwise操作。
殘差連接(residual connection)能夠顯著加速Inception網絡的訓練。Inception-ResNet-v1的計算量與Inception-v3大致相同,Inception-ResNet-v2的計算量與Inception-v4大致相同。
下圖是Inception-ResNet架構圖,來自于論文截圖:Steam模塊為深度神經網絡在執行到Inception模塊之前執行的最初一組操作,在Inception-ResNet-v1中Steam模塊的最終輸出為35*35*256,在Inception-ResNet-v2中Steam模塊的最終輸出為35*35*384。
上圖中Inception-ResNet-v1和Inception-ResNet-v2各模塊詳細結構如下所示:為了便于v1和v2相同模塊作對比,這里將兩類型相同模塊放在了一起,其中左圖為Inception-ResNet-v1,右圖為Inception-ResNet-v2。下圖中所有未標有”V”的卷積都用相同的填充(same-padded),表示它們的輸出尺寸與輸入尺寸正好匹配。標有”V”的卷積采用valid padded,即不填充,padding=0。
Stem模塊結構,論文截圖如下所示:
Inception-resnet-A模塊結構,論文截圖如下所示:
Reduction-A模塊結構,論文截圖如下所示:Inception-ResNet-v1與Inception-ResNet-v2相同
Inception-resnet-B模塊結構,論文截圖如下所示:
Reduction-B模塊結構,論文截圖如下所示:
Inception-resnet-C模塊結構,論文截圖如下所示:
GitHub:https://github.com/fengbingchun/NN_Test
總結
以上是生活随笔為你收集整理的深度神经网络中Inception-ResNet模块介绍的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 经典网络GoogLeNet介绍
- 下一篇: C++11中头文件type_traits