PTAV:实时高精度目标追踪框架 | ICCV 2017论文解读
在碎片化閱讀充斥眼球的時代,越來越少的人會去關注每篇論文背后的探索和思考。
在這個欄目里,你會快速 get 每篇精選論文的亮點和痛點,時刻緊跟 AI 前沿成果。
點擊本文底部的「閱讀原文」即刻加入社區,查看更多最新論文推薦。
這是 PaperDaily 的第?52?篇文章關于作者:陳泰紅,小米高級算法工程師,研究方向為人臉檢測識別,手勢識別與跟蹤。
■?論文 | Parallel Tracking and Verifying
■ 鏈接 | https://www.paperweekly.site/papers/1613
■ 源碼 | http://tinyurl.com/y94wn2yg
論文動機
目標追蹤是視頻分析的基本任務,比目標識別更為復雜:目標追蹤可以把每一幀看作單獨的圖片,再進行識別,但目標追蹤不會這樣做,因為沒有考慮視頻幀之間的冗余信息,效率低且慢。
目標追蹤一直有兩大陣營,CF 相關濾波和 CNN,當然也可以 CF+CNN 融合。
?
本文基于以下動機:?
1. 物體運動時,大部分時間運動平緩,外觀改變較慢。但是對于偶然發生的劇烈運動,需要復雜信息處理,需要單獨驗證。?
2. CV 領域已經普及多線程計算,尤其 SLAM(Simultaneous localization and mapping、同步定位于地圖構建)領域。PTAM 算法的一個關鍵觀點是每一幀不是有必要構建地圖。對于目標追蹤而言,每一幀圖片也不需要單獨的驗證。?
3. tracking performance 和 efficiency 之間需要達到一種平衡。?
論文將 tracking 過程分解為兩個并行但是相互協作的部分:一個用于快速的跟蹤(fast tracking),另一個用于準確的驗證(accurate verification)。?
其實作者之前發布的論文版本 [1] 已被 ICCV 2017 錄用,此版本在原文基礎上做了進一步的修訂。本文所有討論以 2018 年 1 月 在 arXiv 上發布的版本為準。
該版本在原文基礎上做了以下改進:?
1. 使用更具有魯棒性的跟蹤器(Staple)提升性能。?
2. 動態目標模板池用于自適應驗證,放置目標外觀的變化。?
3. PTAV 的 V 和 T 進行了多方面驗證,比如 T 使用 VGGNet 和 AlexNet ,V 使用 KCF、fDSST 和 Staple。?
4. 使用更多實時性算法和基準,進行更徹底實驗驗證和分析。
論文模型
PTAV 算法架構包括三部分:Base Tracker T,Base Verifier V,以及它們之間的協調環節。
對于 T,論文選擇的是 Staple 算法 [2]。驗證環節 V 則選擇采用 Siamese network 驗證目標之間的相似性。對于協調環節,T 在合適的頻率發送結果給 V,保證足夠的時間驗證。
為了改善 PTAV 的精度和速率,論文使用 k 均值聚類用于保持動態目標模板池用于自適應驗證。
實驗
論文的實驗數據詳實,在主要數據集 OTB2015,TC128,UAV20L 和 VOT2016 上均和典型算法進行了對比。
從精度和實時性考慮各個模型,如圖所示,OTB2015 數據集顯示效果。
總結
PTAV 的假設是大部分時間目標運動平滑,位置改變很慢。而較難的情況是運動的無規律性。論文提出的 verifying 時刻并不一定是運動改變的時刻,具有偶然性,所以對“打架斗毆”等運動劇烈的情況會失敗。10 幀更新速率對 verifying 不是最好的選擇。?
對于同樣視頻序列處理的 video segmentation,可以同樣考慮。因為視頻的逐幀操作比較耗費時間,這種間隔性的驗證可大量節約資源。但是,對于劇烈變化的活動,更新會滯后。是否存在自使用速率變化的方法,這樣的坑可以繼續填。
參考文獻
[1] Parallel Tracking and Verifying: A Framework for Real-Time and High Accuracy Visual Tracking (ICCV2017)
[2] Staple: Complementary Learners for Real-Time Tracking
本文由 AI 學術社區 PaperWeekly 精選推薦,社區目前已覆蓋自然語言處理、計算機視覺、人工智能、機器學習、數據挖掘和信息檢索等研究方向,點擊「閱讀原文」即刻加入社區!
#榜 單 公 布?#
2017年度最值得讀的AI論文 | NLP篇 · 評選結果公布
2017年度最值得讀的AI論文 | CV篇 · 評選結果公布
??我是彩蛋?
解鎖新功能:熱門職位推薦!
PaperWeekly小程序升級啦
今日arXiv√猜你喜歡√熱門職位√
找全職找實習都不是問題
?
?解鎖方式?
1. 識別下方二維碼打開小程序
2. 用PaperWeekly社區賬號進行登陸
3. 登陸后即可解鎖所有功能
?職位發布?
請添加小助手微信(pwbot01)進行咨詢
?
長按識別二維碼,使用小程序
*點擊閱讀原文即可注冊
? ? ? ? ???
關于PaperWeekly
PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域,歡迎在公眾號后臺點擊「交流群」,小助手將把你帶入 PaperWeekly 的交流群里。
▽ 點擊 |?閱讀原文?| 查看原論文
總結
以上是生活随笔為你收集整理的PTAV:实时高精度目标追踪框架 | ICCV 2017论文解读的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 直播实录 | 哈工大博士生周青宇:从编码
- 下一篇: 机器阅读理解 / 知识库 / 深度学习