目錄

• 簡介
• 動機
• 貢獻
• 方法
• 實驗

簡介

本文一作是南洋理工大學的Xiaofeng Yang。
文章鏈接

動機

現有的VQA方法可以分為兩類，第一類側重于對視覺和語言的跨模態聯合建模，但是由于缺乏關系推理能力，在組合推理任務上的表現較差。第二類主要側重于神經模塊的設計，但是這類方法需要手工設計，在real-world數據集上難以適用（具有過多的目標類別和可能的推理action）。本文在VQA中引入關系推理，單純地基于圖片提取objects并建立它們之間的關系會帶來很大的噪聲，并且需要大量的計算資源。而實際上，一個question中一般不包括超過6個objects。

貢獻

• 提出了新穎的分層注意力方法，由TRR units構成TRR network，每個TRR units由四個部分組成：① root attention、② root to leaf attetnion passing module、③ leaf attention、④ message passing module，這四個模塊的作用后面再介紹。
• 提出一個策略網絡，能夠根據question和推理結果選擇最佳的推理步驟。
• 在GQA test2019上準確率為60.74，在VQAv2和CLEVR上效果也還不錯。

方法

本文方法的主要思想如下圖所示。首先，在object-level上做一個注意力，得到一些候選objects，再將這些候選objects進一步細分，得到相關、不相關兩類objects，不相關的objects直接丟棄，相關的objects之間建立兩兩關系。

本文具體方法如下圖所示，本質是TRR units的堆疊。每個TRR unit包含四個部分：① root attention、② root to leaf attetnion passing module、③ leaf attention、④ message passing module，下面分別進行介紹。

• ① root attention。這部分基于object特征$V$、bbox特征$B$和word特征$E$生成object-level的注意力${\alpha }^{object}$，和object特征融合后，得到融合的object特征$O^{root}$作為輸出。
• ② root to leaf attetnion passing module。這部分和$O^{root}$沒有什么關系，和${\alpha }^{object}$有關系。這部分首先基于${\alpha }^{object}$、object特征$V$和超參數$K$選出$K$個object，然后將得到的object特征和其對應的bbox特征concat一下，再兩兩建立關系，得到關系特征$R$。
• ③ leaf attention。這部分首先基于question embedding $e$、關系特征$R$做一些fc后得到特征$h$，再基于$h$使用softmax得到relation-level注意力${\alpha }^{relation}$，將注意力和關系特征結合，得到$O^{leaf}$作為輸出。
• ④ message passing module。由于要實現多步推理，這個模塊的主要作用是，將$O^{leaf}$和object特征$V$結合，得到下一次迭代過程中的輸入$V_{new}$。

綜上，每個TRR unit的處理過程可以總結為：
$$O_t^{root},O_t^{leaf},V_{t+1}=TR{R}_t(B,V_t,E)$$
至于什么時候停止推理，作者設計了策略網絡，結合$O_t^{root}$、word特征$E$和當前推理次數$t$共同決定。當停止推理后，基于$O_t^{root}$、$O_t^{leaf}$和$E$得到最終答案。

實驗

在GQA test2019上的實驗結果：

一些可視化的實驗結果：

總結

以上是生活随笔為你收集整理的ECCV 2020《TRRNet: Tiered Relation Reasoning for Compositional Visual Question Answering》论文笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。