?PaperWeekly 原創(chuàng) ·?作者｜黃飄

單位｜華中科技大學(xué)碩士生

研究方向｜多目標(biāo)跟蹤

Siamese Track-RCNN

論文題目：Multiple Object Tracking with Siamese Track-RCNN

作者團(tuán)隊(duì)：亞馬遜云服務(wù)識(shí)別實(shí)驗(yàn)室

論文鏈接：https://arxiv.org/abs/2004.07786

這篇論文的思路很直接，其更多的創(chuàng)新還是還是基于 SOT 任務(wù)中的孿生結(jié)構(gòu)和 MOT 中的聯(lián)合檢測和跟蹤的框架，將 SOT、Detection 和 ReID 利用多任務(wù)分支的方式合并為一個(gè)整體框架。

論文的整體其實(shí)通過上圖就能猜到：

• SOT 分支，作者借助 GOTURN 的 SOT 孿生結(jié)構(gòu)，基于上一幀目標(biāo)位置在當(dāng)前幀擴(kuò)展區(qū)域進(jìn)行搜索，這里與原始 SOT 任務(wù)不同的是：預(yù)測的是目標(biāo)相對(duì)位移，而不是響應(yīng)圖，并且預(yù)測的分類信息中的前景背景信息，作者解釋成目標(biāo)是否可見，這一點(diǎn)在 MOT 數(shù)據(jù)集中存在目標(biāo)可視度的標(biāo)注。但是這里依舊是對(duì)每個(gè)目標(biāo)做了一次 SOT，所以不得不用 GOTURN 這類效率高的網(wǎng)絡(luò)；

• Detection 分支，這個(gè)很簡單，我之前的多篇博客已經(jīng)介紹過了， 這里作者采用的就是就是?Tractor++ 的框架；

• ReID 分支，這里僅僅是使用了共享特征，通過 triplet loss 進(jìn)行訓(xùn)練。

總的來說，論文思路就是讓多個(gè)任務(wù)共享特征。效果如下：

ArTIST

論文標(biāo)題：ArTIST: Autoregressive Trajectory Inpainting and Scoring for Tracking

作者團(tuán)隊(duì)：澳大利亞國立大學(xué)機(jī)器視覺中心&EPFL CVLab

論文鏈接：https://arxiv.org/abs/2004.07482

通過我們之前對(duì)于聯(lián)合檢測和跟蹤的框架的討論，我們可以知道的是這類框架效果好的本質(zhì)在于檢測器的性能，主要體現(xiàn)在跟蹤精度上，進(jìn)而影響 ID Sw.。

但是如果不結(jié)合運(yùn)動(dòng)和表觀等其他信息的話，ID Sw. 和 FP 會(huì)大大增加，這篇論文就是從運(yùn)動(dòng)信息從層面對(duì) Tracktor++ 進(jìn)行了改進(jìn)。

上圖是對(duì)比 Tracktor++ 對(duì)于遮擋的魯棒性，論文框架如下：

從公式我們大致可以理解為對(duì)于每個(gè)即將加入跟蹤軌跡的候選框，通過條件概率模型計(jì)算其屬于該軌跡的概率。從圖中我們能看到的是作者采用的框架式基于 LSTM 的，并且這里面涉及到了目標(biāo)位置和形狀的回歸估計(jì)。

從論文中作者介紹的來看，作者通過 K-means 的方式得到了 K 類運(yùn)動(dòng)模式 (△x,△y,△w,△h)，由此得到近似最優(yōu)的運(yùn)動(dòng)估計(jì)。

如上圖所示，對(duì)于每個(gè)目標(biāo)（假設(shè)有 n 個(gè)），都會(huì)存在 k 種運(yùn)動(dòng)模型和 m 種可能的觀測框，也就是每一次都要進(jìn)行 nkm 次估計(jì)，利用概率模型選擇最優(yōu)的估計(jì)。這一步作者稱之為 Tracklet Scoring。

然后考慮到目標(biāo)丟失所造成了軌跡缺失，作者直接采用丟失之前的運(yùn)動(dòng)模式進(jìn)行估計(jì)，稱之為?Tracklet inplainting。

當(dāng)然，最后還是通過匈牙利算法進(jìn)行了數(shù)據(jù)關(guān)聯(lián)。所以這篇文章的創(chuàng)新點(diǎn)就在于基于 LSTM 的離散運(yùn)動(dòng)狀態(tài)估計(jì)。效果如下：

這里提一下，上面一欄是不基于圖像信息的算法。

SQE

論文標(biāo)題：SQE: a Self Quality Evaluation Metric for Parameters Optimization in Multi-Object Tracking

作者團(tuán)隊(duì)：清華大學(xué) & 曠視

論文鏈接：https://arxiv.org/abs/2004.07472

這篇論文我覺得很有意思，作者團(tuán)隊(duì)設(shè)計(jì)了一種不需要 GT 的 MOT 評(píng)價(jià)指標(biāo) SQE，借此可以實(shí)現(xiàn)與原始評(píng)價(jià)體系相近的結(jié)果，這對(duì)于現(xiàn)實(shí)場景中的算法調(diào)優(yōu)很有幫助。

在看這篇論文之前我們可以自己先思考一下，在計(jì)算 MOT 相關(guān)的評(píng)價(jià)指標(biāo)時(shí)，一般分為跟蹤精度和跟蹤軌跡一致性，對(duì)于跟蹤精度而言，如果沒有 GT，無法估計(jì)。而對(duì)于跟蹤軌跡的一致性，原始方式是通過 GT 計(jì)算跟蹤軌跡中的 ID 變換情況，這一點(diǎn)可以近似估計(jì)。

這篇論文就是通過分析相同身份目標(biāo)和不同身份目標(biāo)之間的特征距離來估計(jì)ID的變換情況的，可是問題在于常規(guī) MOT 任務(wù)中也有很多利用 ReID 來實(shí)現(xiàn)這種效果的，但是如何保證這里的估計(jì)一定準(zhǔn)確呢？我們具體看論文：

作者首先分析了同一條軌跡內(nèi)部的特征距離，可以看到 ID1 的軌跡中由于不存在其他身份的軌跡段，所以距離分布單一，而 ID2 中由于存在其他身份軌跡片段，所以存在了兩種距離分布。

而對(duì)于不同軌跡之間的特征距離，因?yàn)?ID1 和 ID2 軌跡中目標(biāo)身份全無交集，所以也只存在一種距離分布，而 ID2 和 ID3 中存在軌跡交互，所以存在兩種距離分布。

為了度量上面所說的距離分布，作者引入了高斯混合模型，由于描述目標(biāo)特征，距離度量模式采用歐氏距離：

借助目標(biāo)特征的高斯混合模型和歐氏距離公式，得到了距離分布模型如上圖所示，并且特征距離標(biāo)準(zhǔn)化后服從卡方分布，這一點(diǎn)有點(diǎn)類似于馬氏距離，具體可以去看我前面介紹 Kalman 濾波器相關(guān)的文章。

當(dāng)然，作者也說了，由于是采用的統(tǒng)計(jì)信息提到了均值和方差，另外 ReID 特征各個(gè)維度并不是獨(dú)立，所以分布假設(shè)也會(huì)存在一定誤差。

為了驗(yàn)證這種方式的效果，作者做了相關(guān)實(shí)驗(yàn)：

可以看到，對(duì)于同一身份的目標(biāo)，無論其位于同一條軌跡還是不同軌跡，其大多數(shù)的距離分布都偏向于均值較小的部分。而不同身份的軌跡之間則是大多服從均值大的距離分布。

評(píng)價(jià)指標(biāo)公式和算法如下：

其中 n 表示軌跡數(shù)量，L 表示軌跡平均長度，對(duì)于軌跡內(nèi)部，FP 的判定是軌跡長度小于一定閾值和軌跡內(nèi)距離分布標(biāo)準(zhǔn)差大于一定閾值。對(duì)于 dif，這里我理解是軌跡內(nèi)身份變化程度，作者通過計(jì)算 2- 高斯混合模型的均值距離來判定是否存在多個(gè)身份。

對(duì)于軌跡之間，如果特征距離分布均值存在不同兩種分布，則說明兩條軌跡存在交叉，即 sim 誤差增加。

在實(shí)驗(yàn)環(huán)節(jié)，作者采用的是 ReID 領(lǐng)域經(jīng)典的 PCB 算法，感覺好像是直接用 PCB 進(jìn)行多目標(biāo)跟蹤。

可以看到，隨著 ReID 閾值的調(diào)整，IDF1 和 SQE 的值變化情況接近

要注意的是上面的 ReID 閾值是根據(jù) SQE 評(píng)價(jià)指標(biāo)提前設(shè)好的，而不是根據(jù) GT 結(jié)果調(diào)整的，可以看到兩種度量方式的差異接近。

參考文獻(xiàn)

[1] Multiple Object Tracking with Siamese Track-RCNN.

[2] ArTIST: Autoregressive Trajectory Inpainting and Scoring for Tracking.

[3] SQE: a Self Quality Evaluation Metric for Parameters Optimization in Multi-Object Tracking.

點(diǎn)擊以下標(biāo)題查看更多往期內(nèi)容：?

• 變分推斷（Variational Inference）最新進(jìn)展簡述
  

• 變分自編碼器VAE：原來是這么一回事
  

• 圖神經(jīng)網(wǎng)絡(luò)三劍客：GCN、GAT與GraphSAGE
  

• 如何快速理解馬爾科夫鏈蒙特卡洛法？
  

• 深度學(xué)習(xí)預(yù)訓(xùn)練模型可解釋性概覽
  

• ICLR 2020：從去噪自編碼器到生成模型

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識(shí)的人。

總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來。

?????來稿標(biāo)準(zhǔn)：

? 稿件確系個(gè)人原創(chuàng)作品，來稿需注明作者個(gè)人信息（姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向）?

? 如果文章并非首發(fā)，請(qǐng)?jiān)谕陡鍟r(shí)提醒并附上所有已發(fā)布鏈接?

? PaperWeekly 默認(rèn)每篇文章都是首發(fā)，均會(huì)添加“原創(chuàng)”標(biāo)志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請(qǐng)單獨(dú)在附件中發(fā)送?

? 請(qǐng)留下即時(shí)聯(lián)系方式（微信或手機(jī)），以便我們在編輯發(fā)布時(shí)和作者溝通

????

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結(jié)

以上是生活随笔為你收集整理的多目标跟踪（MOT）领域近期值得读的几篇论文的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。