目錄

• [2016][CVPR] Stacked Attention Networks for Image Question Answering
• [2016][CVPR] Visual7W: Grounded Question Answering in Images

[2016][CVPR] Stacked Attention Networks for Image Question Answering

文章鏈接
本文出自CMU+微軟研究院（何曉冬），應(yīng)該是第一篇提出VQA需要多步推理的文章。本文的動機(jī)來自于：在VQA任務(wù)中，question和answer往往只和image中的部分信息相關(guān)，而現(xiàn)有方法使用image的global feature，這會帶來噪聲，降低準(zhǔn)確性。

在方法上，本文主要包括三個(gè)部分：① 使用VGG提取image feature，大小為$512\times 14\times 14$，作者將每個(gè)$14\times 14$視為一個(gè)region，也就是每個(gè)region feature為$512\times 1$。② 使用CNN或者LSTM提取question feature。③ 基于image feature和question feature生成region level的attention，基于此attention對image feature進(jìn)行“優(yōu)化”，基于優(yōu)化后的image feature對question feature進(jìn)行“優(yōu)化”，使其同時(shí)具有視覺和語言的信息。多步推理體現(xiàn)在重復(fù)進(jìn)行多次③（文中是兩次）。

下面是實(shí)驗(yàn)結(jié)果，包括DAQUAR、COCO-QA和VQA，結(jié)果很好。

[2016][CVPR] Visual7W: Grounded Question Answering in Images

文章鏈接
文章出自斯坦福李飛飛組。本文的動機(jī)和SAN類似，作者認(rèn)為，直接使用global feature是不好的，應(yīng)該建立local region link。文中提到這樣一句話：a tighter semantic link between textual descriptions and corresponding visual regions is a key ingredient for better models. 和global image-level associations相比，object-level grounding可以降低關(guān)聯(lián)歧義。

本文的方法如下圖所示，就是在傳統(tǒng)的global方法[28]上，添加了一個(gè)spatial attention。

本文的另一大貢獻(xiàn)是，構(gòu)造了Visual7W數(shù)據(jù)集。這是一個(gè)multiple-choice數(shù)據(jù)集，包含327939個(gè)QA pair，47300張圖片，1311756個(gè)choice，561459個(gè)object level標(biāo)注和36579個(gè)類別。為什么數(shù)據(jù)集叫7W呢，因?yàn)閺膚hat、where、when、who、why、how和which，這七種W出發(fā)構(gòu)造的數(shù)據(jù)集。值得一提的是，本文將前6種W稱為telling questions，而which稱為pointing questions，它們的區(qū)別也很顯然（which的答案是image中的region，而非文本答案）：

Visual7W和現(xiàn)有數(shù)據(jù)集的對比，如下圖所示：

下面是實(shí)驗(yàn)結(jié)果，添加了spatial attention可以提高4個(gè)百分點(diǎn)。

[28] M. Malinowski, M. Rohrbach, and M. Fritz. Ask your neurons: A neural-based approach to answering questions about images. ICCV, 2015. 2, 5, 7

總結(jié)

以上是生活随笔為你收集整理的2021.02.03 Visual QA论文阅读的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。