主要貢獻：提出MLFPN結構， backbone采用了VGG-16

為解決目標實例的尺度變化問題，主流做法有以下兩種：

在測試階段使用圖像金字塔（如cascade RCNN），就是將原始圖像縮放成一系列的圖形，就像金字塔一樣（數據量增大很多，計算開銷很大）

從輸入圖像中提取出的特征金字塔上進行檢測，這種方式在訓練和測試階段都可以使用

? ? ? ? ? ? ?總結：使用多尺度的圖像來提高識別率，其實就是增加數據，讓數據更加豐富

各種不同的金字塔結構：

SSD型：使用了主干網絡的最后兩層，再加上4個使用stride=2卷積的下采樣方式構成

FPN型：經過上采樣操作，然后融合不同的feature map

STDN型：基于DenseNet的最后一個dense block，通過池化和scale-transfer操作來構建

MLFPN型：M2Det中提出的結構，整體思想是Multi-level&Multi-scale（多層次和多尺度，更加細分尺寸）

?

M2Det結構圖解：

注意：shallow medium deep 輸入SFAM層之后不是單獨預測，對于5*5的特征圖，它的來源是shallow medium deep這些層中5*5大小的特征圖，也就是說：5*5大小的預測特征圖中包含了shallow medium deep中5*5大小的特征圖

一、MLFPN包括三個部分：

1.FFM（特征融合模塊）

1.1 FFM1:融合BackBone network（主干網絡）的淺層和深層特征如上圖（a），因為尺寸不一樣使用了上采樣,對于通道不同一的問題使用了1*1卷積壓縮通道，得到了40*40*768大小的base feature map

詳解：圖（a）中上面的通道數最后是512，下面的通道數是256，所以最后輸出了768的通道，只是通道的合并，對應concat操作，還有就是多了上采樣的操作

Deconvolution、upsampling和unpooling的區別，看這里：

https://blog.csdn.net/stu_shanghui/article/details/91493591

1.2 FFMV2:融合base feature map和第一個TUM輸出的feature map

1.3 FFMV3:融合base feature map和第二個TUM輸出的feature map

? ? ? FFM2和FFM3的輸入尺寸都是一致的，所以不需要做上采樣操作

二、TUM（細化U型模塊）

最后都使用1*1卷積來加強學習能力

三、SFAM（尺度特征融合模塊）

作用：將TUM產生的不同多級多尺度特征聚合起來構造多級特征金字塔

拼接具有相同scale的feature map，不同的pyramid的small-scale相連接，

加入channel-wise attention機制（關于channel attention參考：https://zhuanlan.zhihu.com/p/43556047）

Detail

M2Det的主干網絡采用VGG-16和ResNet-101

MLFPN默認配置包含8個TUM，每個TUM包含5個跨步卷積和5個上采樣操作，所以每個TUM的輸出包含6個不同scale的特征

測試階段為6組金字塔特征每組后面添加兩個卷積層，以分別實現位置回歸和分類

最后處理階段使用NMS過濾無用的預測框

只放一張結果圖吧

?

總結

以上是生活随笔為你收集整理的M2Det算法详解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。