對于CNN網絡來說，其核心計算是卷積算子，其通過卷積核從輸入特征圖學習到新特征圖。從本質上講，卷積是對一個局部區域進行特征融合，這包括空間上（H和W維度）以及通道間（C維度）的特征融合

?

?

我們可以發現卷積實際上是對局部區域進行的特征融合。 這也導致了普通卷積神經網絡的感受野不大，當然你也可以設計出更多的通道特征來增加這個，但是這樣做導致了計算量大大的增加。因此為了空間上融合更多特征融合，或者是提取多尺度空間信息。也提出了許多不同的方法如Inception網絡的多分支結構。對于channel維度的特征融合，卷積操作基本上默認對輸入特征圖的所有channel進行融合。而SENet網絡的創新點在于關注channel之間的關系，希望模型可以自動學習到不同channel特征的重要程度。為此，SENet提出了Squeeze-and-Excitation (SE)模塊，如下圖所示：

在這里SENet實際上是對整個輸入feature進行操作，感受野可以覆蓋到整個輸入feature上，這對于網絡來說是一個有益的語義信息補充。

幾個問題

SEnet為什么可以增大感受野？

普通卷積是一個非常“規矩”的矩形，起感受野也是非常規矩的矩形，而SEnet可以讓卷積的感受野實現“偏移”，間接增大了感受野。假如感受野是四個點，普通卷積卷積后的四個點事一個方形，通過SEnet網絡后，四個點可以能分布在圖上的各種位置，這兩種方式中，四個點圍成的面積其實就可以看成感受野，很大概率就事SEnet網絡大。

SEnet、Dcn、注意力機制？

SEnet就是通道注意力機制，注意注意力機制其實就是特征圖上，某些位置（通道、時間等）的重要程度，這個重要程度可以使得普通卷積的感受野發生偏移，也就是讓卷積的每個位置都有所“偏好”，Dcn（可變性卷積）其實跟SEnet沒什么區別，做的是同一個事情。

?

總結

以上是生活随笔為你收集整理的深度学习基础：深入理解Squeeze-and-Excitation (SE)网络的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。