目錄

• 動(dòng)機(jī)
• 主要貢獻(xiàn)
• 整體框架
• 詳細(xì)介紹
• • • 重構(gòu)DCF
    • 剩余學(xué)習(xí)
    • • • Spatial層
        • Temporal層
• 跟蹤過(guò)程
• 實(shí)驗(yàn)結(jié)果

動(dòng)機(jī)

? ? ? ?本文基于DCF進(jìn)行改進(jìn)，摘要中提到，基于DCF的跟蹤器無(wú)法受益于端到端的訓(xùn)練。

主要貢獻(xiàn)

? ? ? ?理解出錯(cuò)之處望不吝指正。
? ? ? ?主要包括一下三方面：
? ? ? ?1. 將CF重構(gòu)為一個(gè)卷積層，這樣使其受益于端到端的訓(xùn)練；
? ? ? ?2. 在時(shí)空上（spatiotemporal）使用剩余學(xué)習(xí)（residual learning）學(xué)習(xí)目標(biāo)的外觀變換；
? ? ? ?3. 本文提出的模型CREST在多個(gè)數(shù)據(jù)集上驗(yàn)證均可達(dá)到很好的效果。

整體框架

? ? ? ?模型的整體架構(gòu)如上圖所示，在跟蹤第T幀時(shí)，將第T幀和第1幀送入特征提取層，得到特征圖后，將第T幀特征圖送入Base層（重構(gòu)的DCF）和Spatial層，第1幀特征圖送入Temporal層，將三個(gè)層的輸出融合后得到響應(yīng)圖。

詳細(xì)介紹

重構(gòu)DCF

? ? ? ?DCF實(shí)際是優(yōu)化以下函數(shù)：
? ? ? ?
? ? ? ?傳統(tǒng)的損失函數(shù)形式如下：
? ? ? ?
? ? ? ?作者將DCF重構(gòu)為一個(gè)卷積層，損失函數(shù)設(shè)置如下：
? ? ? ?
? ? ? ?
? ? ? ?這樣就可以用梯度下降去計(jì)算權(quán)重，而不是通過(guò)計(jì)算封閉解。

剩余學(xué)習(xí)

? ? ? ?作者提到，只使用一個(gè)卷積層來(lái)重構(gòu)DCF得不到效果很好的響應(yīng)圖，但是又不想堆疊很多的卷積層（會(huì)帶來(lái)梯度消失）。作者通過(guò)添加兩個(gè)剩余層（我的理解：學(xué)習(xí)差異性）來(lái)解決這個(gè)問(wèn)題，即：Spatial和Temporal。這樣，響應(yīng)圖的計(jì)算就可為以下三部分：
? ? ? ?
? ? ? ?這樣，計(jì)算響應(yīng)圖的流程則如下：
? ? ? ?

Spatial層

? ? ? ?首先介紹Spatial層。
? ? ? ?在我的理解下，這一部分實(shí)際上就是用于學(xué)習(xí)Base層的輸出和真實(shí)輸出的偏差（相當(dāng)于微調(diào)），也就是用Spatial層的輸出去改進(jìn)Base層的輸出。

Temporal層

? ? ? ?Temporal層的作用是，防止當(dāng)前的跟蹤結(jié)果和初始幀的跟蹤目標(biāo)偏差較大。本層旨在學(xué)習(xí)Base層的輸出和第一幀跟蹤目標(biāo)的差異性（防止跟丟？）。

跟蹤過(guò)程

? ? ? ?跟蹤過(guò)程實(shí)際上和傳統(tǒng)的DCF沒(méi)啥區(qū)別。

• 特征提取部分使用VGG網(wǎng)絡(luò)；
• Base、Spatial和Temporal層使用高斯函數(shù)初始化；
• 尺度處理和以往的模型都一樣，獲取不同尺度的search patch，再resize到相同尺寸；
• 每一幀的跟蹤結(jié)果作為訓(xùn)練數(shù)據(jù)放到樣本庫(kù)中，每隔T幀對(duì)模型進(jìn)行更新。

實(shí)驗(yàn)結(jié)果

• 模型效果展示
  
  
• OTB2013實(shí)驗(yàn)結(jié)果
  
  
  
• OTB2015實(shí)驗(yàn)結(jié)果
  
• VOT2016實(shí)驗(yàn)結(jié)果
  
  

總結(jié)

以上是生活随笔為你收集整理的ICCV 2017 CREST：《CREST: Convolutional Residual Learning for Visual Tracking》论文笔记的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。