目標(biāo)跟蹤分為單目標(biāo)跟蹤和多目標(biāo)跟蹤，單目標(biāo)跟蹤較為簡單，這里我們只討論多目標(biāo)跟蹤。

多目標(biāo)跟蹤的遮擋問題

多目標(biāo)跟蹤時特別容易發(fā)生目標(biāo)間的相互遮擋，從而導(dǎo)致嚴(yán)重的預(yù)測偏移問題，如下圖所示：

紅色框的行人在和藍(lán)色框行人交錯而過時，由于外觀模型的持續(xù)更新，紅色框就學(xué)到了另一個人的外觀特征，從而導(dǎo)致跟蹤錯誤。這種情況在多目標(biāo)跟蹤中并不少見，所以如何解決遮擋問題就成了重中之重。

這里介紹一種采用時空注意力機制（Spatial-Temporal Attention Mechanism）來盡可能解決目標(biāo)間遮擋的深度模型。

Online Multi-Object Tracking Using CNN-based Single Object Tracker with Spatial-Temporal Attention Mechanism?arxiv.org

模型總體架構(gòu)

這種時空注意力深度模型的總體架構(gòu)如下所示：

空間注意力對特征進行加權(quán)，從而對每個候選框進行分類，而時間注意力通過調(diào)節(jié)第t幀樣本和歷史樣本的權(quán)重，從而輔助損失函數(shù)進行參數(shù)更新。

空間注意力

我們接下來具體看一看空間注意力機制如何發(fā)揮作用。

輸入圖片先通過一個共享卷積層，提取高維特征CNN Feature Map，接著各個目標(biāo)均在此CNN Feature Map上進行預(yù)測即可，每個特定目標(biāo)CNN分支都對應(yīng)跟蹤一個目標(biāo)，即有多少行人，就有多少CNN分支。

值得一提的是，對于每個目標(biāo)來說，其候選框BBox由兩部分組成，運動模型的預(yù)測框和檢測模型的檢測框組成；接著對此目標(biāo)的所有候選框進行評分，得分最高的且大于一定閾值的候選框，即為此幀此目標(biāo)的預(yù)測跟蹤框。

得到ROI-Pooling特征時注意一個細(xì)節(jié)：因為BBox框的大小不一樣，所以引入ROI池化，統(tǒng)一ROI Features的尺寸，從而保證后序全連接層正常運行。

特定目標(biāo)分支中，分為空間注意力提取階段和二分類階段：

（1）空間注意力使用可視圖來得到，ROI-Pooling特征經(jīng)過卷積層和全連階層后reshape成可視圖，越接近于1即為目標(biāo)像素，越接近0則為非目標(biāo)像素，可視化如下：

紅色區(qū)域為目標(biāo)，藍(lán)色區(qū)域為被遮擋部分。

這里的可視圖既輔助產(chǎn)生空間注意力，也在時間注意力中發(fā)揮作用，在更新參數(shù)時決定使用當(dāng)前幀的程度；

（2）二分類階段較為簡單明了，每個ROI-Pooling都對應(yīng)這一個得分，對于一個分支來說，得分最高的且大于一定閾值的ROI-Pooling，即為此幀此目標(biāo)的預(yù)測跟蹤框。

時間注意力

時間注意力其實反映的是我們更新參數(shù)時，考慮此幀預(yù)測跟蹤框占總損失的權(quán)重。

參數(shù)就是我們需要學(xué)習(xí)的權(quán)重。

其中，

即可視圖Visibility Map的均值， 是此目標(biāo)與其他目標(biāo)的最大IOU值，其它參數(shù)均需要學(xué)習(xí)。

總損失也就是由第t幀負(fù)樣本，第t幀正樣本，歷史正樣本三部分構(gòu)成，均采用交叉熵?fù)p失。

實驗結(jié)果

消融實驗可以得出每個部分都是有效的。

時空注意力機制STAM和其他多目標(biāo)跟蹤方法比，效果確實得到了一定的提升。IDS評價指標(biāo)最優(yōu)，也體現(xiàn)出此模型能較好地處理遮擋問題，減少了ID錯誤切換的頻率。

總結(jié)歸納：

1.前半部分網(wǎng)絡(luò)使用共享卷積層，減少了參數(shù)量；并且參數(shù)固定住，減少反向傳播的計算量；

2.引入運動模型，相比起其他只使用Detector的MOT算法，增加了穩(wěn)定性；

3.使用時空注意力機制，更準(zhǔn)確地跟蹤遮擋情況。

問題討論：

一般空間注意力都是全連接層進行全局Softmax實現(xiàn)，大家知道空間注意力的局部連接形式是什么樣的嗎？

總結(jié)

以上是生活随笔為你收集整理的注意力机制可视化_目标跟踪中的（STAM）时空注意力机制的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。