繼續咱們的“網絡結構1000變”板塊，最近上新的內容主要是Attention機制相關的網絡結構，即網絡如何選擇真正感興趣的區域進行處理，下面是一個代表，更多請移步知識星球網絡結構1000變板塊。

有三AI知識星球-網絡結構1000變

CBAM

以前介紹過的Dynamic Capacity Network，Perforated CNNs是從空間維度進行Attention，SENet是從通道維度進行Attention，而CBAM(

Convolutional Block Attention Module)則是同時從空間維度和通道維度進行Attention。

作者/編輯 言有三

通道方向的Attention通過通道內的空間關系獲取，原理如下：

同時使用最大pooling和均值pooling算法，然后經過幾個MLP層獲得變換結果，最后分別應用于兩個通道，使用Sigmoid函數得到通道的Attention結果。

空間方向的Attention通過通道之間的空間關系獲取，原理如下：

首先將通道本身進行降維，分別獲取最大池化和均值池化結果，然后拼接，再使用一個卷積層進行學習。

這兩種機制，分別學習了“怎么看”，“以及看什么”，這樣的兩個模塊可以很容易地嵌入到任何已知的框架中。

上表展示了將這個方法用于不同模型后的結果，可知道該模型和SENet性能相當，都顯著提升了baseline的性能，尤其是較深的ResNet50和ResNet101。

轉載文章請后臺聯系

侵權必究

往期精選

• 【知識星球】千奇百怪的網絡結構板塊更新到哪里了？

• 【知識星球】動態推理網絡結構上新，不是所有的網絡都是不變的

• 【知識星球】做作業還能贏獎金，傳統圖像/機器學習/深度學習盡在不言中

• 有三AI知識星球官宣，BAT等大咖等你來撩

• 揭秘7大AI學習板塊，這個星球推薦你擁有

• 有三AI“夏季劃”出爐，今夏進階中級CV算法工程師

總結

以上是生活随笔為你收集整理的【知识星球】Attention网络结构上新，聚焦才能赢的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。