目錄

• 簡介
• 動機
• 貢獻
• 方法
• 實驗

簡介

本文也是一篇poster，作者出自浙大、阿里巴巴和電科大。
本文提出了一個新的task——STVG（Spatio-Temporal Video Grounding for Multi-Form Sentences），下面將進行詳細介紹。
下載鏈接

動機

首先，針對Video Grounding這個task，大多是針對特定的一幀或者幾幀進行g(shù)rounding，再或者是在 trimmed videos上進行g(shù)rounding。本文提出在untrimmed videos上進行g(shù)rounding，并且使用兩種形式的sentences，分別是陳述句和疑問句。由于疑問句中不會“顯式地”指出目標，更考驗?zāi)Ｐ偷耐评砟芰Α＿@個task稱為STVG。

其次，針對Video Grounding領(lǐng)域的方法，現(xiàn)有大多數(shù)方法，都是先提proposals，再根據(jù)sentence選擇最優(yōu)proposal，但是這類方法不適用于STVG任務(wù)。可以從兩點進行解釋：①. 這類方法的性能很大程度依賴于提取的proposals的質(zhì)量，但是STVG中使用的是untrimmed videos，ground truth在其中占的比例很小，不參考textual clues，很難提取出有質(zhì)量的proposals；②. 這類方法通常只考慮對單個tube建模，忽略了objects之間的關(guān)系。

貢獻

提出STVG任務(wù)。

提出STGRN模型應(yīng)對STVG任務(wù)。

提出針對STVG任務(wù)的數(shù)據(jù)集VidSTG。

STGRN模型在VidSTG數(shù)據(jù)集上取得了很好的效果。

方法

本文方法的整體框架如下圖所示，下面進行詳細介紹。

對于輸入的text和image，本文分別采用雙向GRU和Faster R-CNN作為encoder，得到特征圖。然后，基于Faster R-CNN的檢測結(jié)果，構(gòu)造三個圖，分別是：隱式空間圖、顯式空間圖和時間動態(tài)圖。隱式空間圖是由每個object為節(jié)點，得到的完全圖（無向圖）。顯式空間圖是一個場景圖，根據(jù)CVPR2018構(gòu)造（有向圖）。時間動態(tài)圖將每幀的objects和前后的M幀相連，建邊的原則是——根據(jù)特征的余弦相似度和IoU加權(quán)得到。

得到三個圖后，基于它們進行多步跨模態(tài)推理，具體做法其實就兩步，先進行跨模態(tài)融合，然后使用空間圖卷積（或時間圖卷積）。跨模態(tài)融合分為三步：首先，對于每個region，使用注意力機制聚集文本特征；然后，使用一個textual gate機制，弱化文本無關(guān)區(qū)域；最后，將得到 的region feature和textual feature進行concatenate，得到跨模態(tài)特征$v_0$（方便表示，先忽略時間步$t$，區(qū)域索引$i$等）。多步推理體現(xiàn)在空間圖卷積（或時間圖卷積）上，基于剛才得到的特征，進行T步的空間圖卷積（或時間圖卷積），會得到三個不同的特征$v_1$、$v_2$和$v_3$。最終特征通過$v_{end}=ReLU(v_0+v_1+v_2+v_3)$得到。

得到特征后，通過兩個Localizer對生成tube。首先介紹Temporal Localizer，這部分作者參考了SIGIR2019。先是對于每一幀，多尺度地生成proposals，然后使用參考論文中的方法，對每個proposal進行評估，同時預(yù)測出邊界的offset。接下來，介紹Spatial Localizer，直接使用一個線性層，預(yù)測region feature和query representation（這部分是在text encoder學(xué)到的）的match score。但是這樣選，在時間維度上，bbox的變化不夠平滑，故作者定義了一個link score，選擇bbox的時候，不光考慮match score，還要考慮它與后一幀bbox的IoU。

實驗

在VidSTG數(shù)據(jù)集上的實驗結(jié)果如下：

總結(jié)

以上是生活随笔為你收集整理的CVPR 2020 《Where Does It Exist: Spatio-Temporal Video Grounding for Multi-Form Sentences》论文笔记的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。