3.4.1 模型結構

SiamRPN++網絡結構如下圖所示，虛線的兩邊都是網絡結構圖，虛線左側是特征提取網絡結構，右側是RPN結構圖。其實SiamRPN++的網絡結構與SiamRPN網絡結構十分相似，而SiamRPN++就是在SiamRPN的基礎上加入許多的創新點。

SiamRPN++網絡以resNet50為backbone,進行特征提取。原始的ResNet主要應用于圖像分類和識別任務，對于空間信息不敏感，而在跟蹤任務中，空間信息對于目標的準確定位至關重要，所以要在跟蹤任務中使用，需要對ResNet進行改進。原始ResNet具有32像素的尺度變化，不適合于稠密孿生網絡的預測。如下圖所示，通過修改conv4和conv5塊以獲得單位空間尺度變化，將最后兩個塊的尺度變化從16和32減少到8倍的尺度變化，并通過空洞卷積增加其感受域。在每個塊輸出端附加一個額外的1×1卷積層，以將輸出通道減少到256。因為每一層padding操作被保留，模板圖片處理得到的特征尺寸增加15X15，所以通過裁剪選取中間部分7X7大小的特征來作為模板圖片特征。使用互相關層和全卷積層的組合來組合一個head模塊來計算分類(用S表示)和bbox回歸器(用B表示)。

3.4.2 模型創新

• 針對平移不變性的改進

嚴格的平移不變性只存在于無填充網絡中，如AlexNet。以前基于孿生的網絡設計為淺層網絡，以滿足這一限制。然而，如果所使用的網絡被ResNet或MobileNet等現代網絡所取代，填充將不可避免地使網絡變得更深，從而破壞了嚴格的平移不變性限制，不能保證物體最后的heatmap集中于中心。

當把正樣本都放在圖像中心時，網絡只會對圖像中心產生響應；如果把正樣本均勻分布到某個范圍內，而不是一直在中心時（所謂的范圍即是指距離中心點一定距離，該距離為shift；正樣本在這個范圍內是均勻分布的），隨著shift的不斷增大，這種現象能夠逐漸得到緩解。

?

• 分層聚合

在以前僅使用像AlexNet這樣的淺層網絡，多層特性不能提供非常不同的作用。然而，考慮到感受野的變化，ResNet中的不同層更有意義。淺層的特征主要集中在低層次的信息上，如顏色、形狀等，對于定位是必不可少的，而缺乏語義信息；深層的特征具有豐富的語義信息，在某些挑戰場景（如運動模糊、形變等）中是有益的。使用這種豐富的層次信息有助于跟蹤，從最后三個殘差塊中提取的多層特征，以進行分層聚合。將這些輸出中分類featuremap稱為S_3S?3??,S_4S?4??和S_5S?5??，回歸featuremap稱為B_3B?3??,B_4B?4??和B_5B?5???。conv3、conv4、conv5的輸出分別輸入三個SiamRPN模塊。由于對resnet網絡的改動，三個RPN模塊的輸出尺寸具有相同的空間分辨率，因此直接對RPN輸出采用加權和。

?

• 深層互相關改進

互相關計算模塊是一個用來整合兩個分支信息的核心操作。使用Depthwise Cross Correlation來實現更有效的信息關聯，它具有更少的參數

Cross-Correlation用于SiamFC中，模版特征在搜索區域上按照滑窗的方式獲取不同位置的響應值，最終獲得一個一維的響應映射圖。

Up-Channel Cross Correlation用于SiamRPN中，和Cross Correlation操作不同的是在做correlation操作之前多了兩個卷積層，通道個數分別為256和256x2k，其中k表示每一個grid上面的anchor個數。其中一個用來提升通道數，而另一個則保持不變。之后通過卷積的方式，得到最終的輸出。通過控制升維的卷積來實現最終輸出特征圖的通道數。

Depthwise Cross Correlation和UpChannel一樣，深度互相關層預測模板和搜索圖像之間的多通道相關性特征，模板圖像經過卷積層后并不像SiamRPN那樣將通道數增加2k倍，而是保持不變，同時搜索圖像也與模板圖像保持一致，兩者逐通道相互卷積，之后接一個1×1的卷積層，再改變通道數，這樣在保持精度的同時減少了參數量。

SiamRPN++很大程度上緩解了padding帶來的平移不變性的破壞，從而在孿生網絡中引入了深層的網絡，從而帶來了巨幅的準確率提升。

3.4.3 損失函數

損失函數與SiamRPN相同，不在贅述。

3.4.4 模型訓練

SiamRPN++是端到端的訓練模型，用SGD方法對網絡進行訓練。

?

總結

以上是生活随笔為你收集整理的智慧交通day04-特定目标车辆追踪03：siamese在目标跟踪中的应用-SiamRPN++(2019)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。