與普通的視頻跟蹤網(wǎng)絡(luò)不同的是，SiamMask可以同時(shí)完成視頻跟蹤和實(shí)例級(jí)分割的任務(wù)。如下圖所示，與傳統(tǒng)的對(duì)象跟蹤器一樣，依賴于一個(gè)簡(jiǎn)單的邊界框初始化（藍(lán)色）并在線操作。與ECO（紅色）等最先進(jìn)的跟蹤器不同，SiamMask（綠色）能夠生成二進(jìn)制分割，從而更準(zhǔn)確地描述目標(biāo)對(duì)象。

?

3.5.1 網(wǎng)絡(luò)結(jié)構(gòu)

SiamMask的網(wǎng)絡(luò)結(jié)構(gòu)，提出了三分支的SiamMask網(wǎng)絡(luò)。與之前的孿生網(wǎng)絡(luò)十分相似的是，將模板圖像與搜索圖像輸入網(wǎng)絡(luò)，兩者經(jīng)過(guò)特征提取網(wǎng)絡(luò)，特征提取網(wǎng)絡(luò)如下表所示，生成15×15×256和31×31×256的featuremap，與SiamFC相似的是，將兩個(gè)featuremap逐通道相互卷積，生成17×17×256的featuremap，將這個(gè)過(guò)程生成的像素值叫做RoW，如下圖所示，藍(lán)色的1×1×256的featuremap為heatmap的最大值，代表目標(biāo)最有可能出現(xiàn)的位置。之后將featuremap輸入三個(gè)分支中，圖中h_{\psi}h?ψ??,b_{\psi}b?ψ??,s_{\psi}s?ψ???是1×1的卷積層，作用是改變通道的數(shù)量。?

?

網(wǎng)絡(luò)結(jié)構(gòu)如下表所示：

在box分支中，17×17×256的featuremap經(jīng)過(guò)1×1×(4k)的卷積層后生成17×17×4k的featuremap，這里k是每一個(gè)RoW生成k個(gè)anchors，這里實(shí)際上和SiamRPN相同，每四個(gè)一組，分別對(duì)應(yīng)dx、dy、dw、dh四個(gè)值，代表著與groundtruth的距離。

在score分支中，17×17×256的featuremap經(jīng)過(guò)1×1×(2k)的卷積層后生成17×17×2k的featuremap，這里k是每一個(gè)RoW生成k個(gè)anchors，這里實(shí)際上和SiamRPN相同，每?jī)蓚€(gè)一組，分別對(duì)應(yīng)分類為目標(biāo)和背景的標(biāo)簽結(jié)果。

在Mask分支中。17×17×256的featuremap經(jīng)過(guò)1×1×(63×63)的卷積層后生成17×17×(63×63)的featuremap，從featuremap中取出與RoW位置相同的像素值，為1×1×(63×63)，對(duì)其做上采樣，生成127×127×1的圖像，在這個(gè)圖像中所有的像素值都取0或1，生成的相當(dāng)于是一個(gè)二進(jìn)制掩碼，目標(biāo)像素值為1，背景像素值為0，這樣就完成了實(shí)例級(jí)分割的任務(wù)。 ??

三分支中的網(wǎng)絡(luò)結(jié)構(gòu)如下表所示：?

除了三分支的SiamMask之外，作者還提出了二分支的SiamMask網(wǎng)絡(luò),如上圖所示，刪掉了box分支，只保留score和Mask分支:

通過(guò)Mask分支生成的二進(jìn)制掩碼來(lái)生成相對(duì)應(yīng)的bounding box，二分支中的網(wǎng)絡(luò)結(jié)構(gòu)如下表所示：

3.5.2 模型創(chuàng)新

• 改進(jìn)的bounding box生成策略

設(shè)計(jì)了三種生成bounding box的策略如下圖所示的紅色、綠色和藍(lán)色框

?

在之前的視頻跟蹤網(wǎng)絡(luò)中，生成的都是平行于圖片的x軸，y軸的bounding box。當(dāng)然，SiamMask也能完成這樣的任務(wù)，如圖中紅色框所示,在三分支的SiamMask網(wǎng)絡(luò)中，box分支負(fù)責(zé)生成這樣的bounding box。而在二分支的SiamMask網(wǎng)絡(luò)中，利用Mask分支生成的二進(jìn)制掩碼取出目標(biāo)所在的最小和最大的像素值，來(lái)生成Min-max的bounding box。

為了能夠?qū)ounding box盡可能的貼合物體，設(shè)計(jì)了MBR的生成策略,如圖綠色框所示。同樣，利用Mask分支生成的二進(jìn)制掩碼，求目標(biāo)的最小包閉矩形，這樣會(huì)導(dǎo)致生成的bounding box會(huì)有一定的傾斜。

還設(shè)計(jì)了一種策略O(shè)pt，如圖中藍(lán)色框所示。通過(guò)Mask分支生成的二進(jìn)制掩碼，求一個(gè)矩形區(qū)域使得矩形與目標(biāo)像素的IoU最大，通過(guò)這種策略在一些計(jì)算目標(biāo)與bounding box之間IoU的比賽中會(huì)提高SiamMask的成績(jī)。

• 掩膜細(xì)化模型

下圖為特征提取網(wǎng)絡(luò)和Mask分支的結(jié)構(gòu)圖，網(wǎng)絡(luò)忽略了box分支和score分支，經(jīng)過(guò)特征提取網(wǎng)絡(luò)生成的1×1×256的featuremap，首先經(jīng)過(guò)反卷積生成15×15×32的featuremap，之后每一次反卷積都通過(guò)Ui 結(jié)合多層的特征，最后經(jīng)過(guò)一個(gè)3×3的卷積層和Sigmoid層生成127×127×1的二進(jìn)制掩碼。

?

下圖為細(xì)化模型的結(jié)構(gòu)圖，經(jīng)過(guò)細(xì)化模型可以實(shí)現(xiàn)上采樣的過(guò)程中結(jié)合特征提取的featuremap信息。

?

3.5.3 損失函數(shù)

Mask分支的損失函數(shù)：

???在Mask分支最后生成一個(gè)127×127×1的二進(jìn)制掩碼也需要對(duì)其進(jìn)行標(biāo)記，目標(biāo)像素標(biāo)記為+1，背景像素標(biāo)記為-1，所以假設(shè)一個(gè)RoW中會(huì)有w×h個(gè)像素，cij為Mask中第n個(gè)RoW中第i，j個(gè)像素的真實(shí)標(biāo)記，mij為對(duì)應(yīng)的網(wǎng)絡(luò)的輸出。所以這里的Mask分支只會(huì)計(jì)算一個(gè)目標(biāo)RoW在二進(jìn)制掩碼中的所有像素。

• 二分支：

二分支的SiamMask的損失函數(shù)如下式所示，其中λ1與λ2為超參數(shù)，λ1=32，λ2=1，L_{mask}L?mask???是上面講的Mask分支的損失函數(shù)，L_{sim}L?sim??是SiamFC的損失函數(shù)?

• 三分支：

三分支的SiamMask的損失函數(shù)如下式所示，其中λ1與λ2為超參數(shù)，λ1=32，λ2=λ3=1，?L_{mask}L?mask??是Mask分支的損失函數(shù)，L_{score}L?score??和L_{box}L?box??是SiamRPN的損失函數(shù)?L_{cls}L?cls??和L_{reg}L?reg??.

?

3.5.4 模型訓(xùn)練

siamMask是端到端訓(xùn)練模型，訓(xùn)練參數(shù)如下表所示：

?

總結(jié)

以上是生活随笔為你收集整理的智慧交通day04-特定目标车辆追踪03：siamese在目标跟踪中的应用-SiamMask(2019)的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。