CVPR2020 論文解讀：具有注意RPN和多關(guān)系檢測(cè)器的少點(diǎn)目標(biāo)檢測(cè)

Few-Shot Object Detection with Attention-RPN
and Multi-Relation Detector

具有注意RPN和多關(guān)系檢測(cè)器的少點(diǎn)目標(biāo)檢測(cè)

目標(biāo)檢測(cè)的慣用方法需要大量的訓(xùn)練數(shù)據(jù)，準(zhǔn)備這樣高質(zhì)量的訓(xùn)練數(shù)據(jù)很費(fèi)精力的。本文中，提出一種新的少點(diǎn)目標(biāo)檢測(cè)網(wǎng)絡(luò)，只用幾個(gè)帶注釋的示例的看不見(jiàn)的類(lèi)來(lái)檢測(cè)目標(biāo)。集中到新方法的核心是，注意力RPN，多相關(guān)檢測(cè)器，以及對(duì)比訓(xùn)練策略，探索少點(diǎn)支持集和查詢(xún)集之間的相似性，檢測(cè)新目標(biāo)同時(shí)抑制背景中的錯(cuò)誤檢測(cè)。

訓(xùn)練網(wǎng)絡(luò)，提供新數(shù)據(jù)集，它包含1000類(lèi)不同的目標(biāo)，附加高質(zhì)量的注釋信息。眾所周知，這是為少點(diǎn)目標(biāo)檢測(cè)最好的特定數(shù)據(jù)集之一。當(dāng)少點(diǎn)網(wǎng)絡(luò)訓(xùn)練后，不需要進(jìn)一步訓(xùn)練和優(yōu)化，就可以檢測(cè)看不接見(jiàn)的類(lèi)。這種方法是通用的，具有廣泛的應(yīng)用潛力。提供少點(diǎn)數(shù)據(jù)集中新的不同數(shù)據(jù)集上藝術(shù)狀態(tài)性能。

解決什么問(wèn)題

少量support的情況，檢測(cè)全部的屬于target目標(biāo)范疇的前景

本文創(chuàng)新點(diǎn)\貢獻(xiàn)

沒(méi)有反復(fù)訓(xùn)練和fine-tune的情況檢測(cè)新物體，探索物體對(duì)的聯(lián)系?？梢栽诰€檢測(cè)，在proposal前面使用attention模塊很有用，聯(lián)系模塊能過(guò)濾

大量的數(shù)據(jù)集，1000個(gè)類(lèi)，每個(gè)類(lèi)只有少量樣本，實(shí)驗(yàn)表明用這個(gè)數(shù)據(jù)集能達(dá)到的效果更好

本文IDEA來(lái)源

問(wèn)題在于新的類(lèi)別不錯(cuò)的框的分?jǐn)?shù)低

方法

方法概述

在RPN前加一個(gè)attention，在檢測(cè)器之前加了3個(gè)attention，然后還是用到了負(fù)support訓(xùn)練。

問(wèn)題定義

給定帶有target物體特寫(xiě)的support圖片?，包含support中類(lèi)別物體的query圖片?，support中包含K類(lèi)物體，每類(lèi)N個(gè)樣本，所以就是檢測(cè)。

Deep Attentioned Few-Shot Detection

權(quán)重共享的框架由多個(gè)分支組成，分別為support和query服務(wù)，support根據(jù)輸入有多個(gè)分支，圖片只顯示了一個(gè)。

query分支是一個(gè)FasterRCNN網(wǎng)絡(luò)，包含RPN和檢測(cè)器。

利用這個(gè)框架來(lái)學(xué)習(xí)support和query之間的匹配關(guān)系，更好的學(xué)習(xí)同類(lèi)之間的一般知識(shí)。

以這個(gè)框架為基礎(chǔ)，提出了attention RPN，還有多聯(lián)系檢測(cè)。

Attention-Based Region Proposal Network

沒(méi)有support，RPN就沒(méi)有目標(biāo)，后面的子分類(lèi)就搞不清楚這么多的不相關(guān)目標(biāo)。

使用support信息就能過(guò)濾掉大部分的背景框，還有那些不是匹配的類(lèi)別

通過(guò)在RPN中用attention機(jī)制來(lái)引入support信息，來(lái)對(duì)其他類(lèi)的proposal進(jìn)行壓制

通過(guò)逐深度的方法計(jì)算二者特征值的相似性，相似性用來(lái)生成proposal

support的特征是，queroy的特征是，相似度定義如下：

其中G是attention特征圖，X作為一個(gè)卷積核在query的特征圖上滑動(dòng)，以一種逐深度(取平均)的方式。

使用的是RPN的底部特征，ResNet50的res4-6，發(fā)現(xiàn)設(shè)置S=1表現(xiàn)很好，這說(shuō)明全局特征能提供一個(gè)好的先驗(yàn)

G用3×3的卷積處理，然后接分類(lèi)和回歸層。

Multi-Relation Detector

還是測(cè)量相似性的，在query和support的bbox之間，包含三個(gè)attention：

global-relation head：學(xué)習(xí)全局匹配的深度嵌入

local-correlation head：學(xué)習(xí)support和query的proposal之間的逐像素和逐深度對(duì)應(yīng)

patch-relation head：學(xué)習(xí)匹配的深度非線性度量

三個(gè)head的分析：

第三個(gè)patch 并不理想，這個(gè)頭的模型更復(fù)雜，但作者也覺(jué)得復(fù)雜的聯(lián)系是難學(xué)習(xí)的

但是三個(gè)一起用效果最好，說(shuō)明之間還是能相互補(bǔ)充的

Two-way Contrastive Training Strategy

不僅匹配而且區(qū)分

訓(xùn)練組，其中，是跟query不同的類(lèi)，訓(xùn)練的時(shí)候只有c被標(biāo)記為前景

背景的proposal很多，所以平衡在query和support中三個(gè)不同匹配的比例，保持

前景proposal 和負(fù) [ 圖中(2) ]：

背景proposal 和
正 [ 圖中(1) ]：

proposal(前或后) 和 負(fù)= 1：2：1

根據(jù)匹配的分?jǐn)?shù)選全部的，選前，前

根據(jù)第一隊(duì)確定總個(gè)數(shù)，后面按分?jǐn)?shù)來(lái)，什么樣的分?jǐn)?shù)？

錯(cuò)誤的根據(jù)最不匹配分?jǐn)?shù)？

為什么沒(méi)有proposal(前或后)和positive support pairs的？

因?yàn)檫@里是算不同嗎？

對(duì)于每個(gè)采樣的proposa計(jì)算推薦：

?和Faster RCNN一樣， ?用的二值化交叉熵

選擇訓(xùn)練策略

RPN的選擇

和0.5IoU的取前100的RPN對(duì)比。表里也顯示RPN attention確實(shí)有效

總結(jié)

以上是生活随笔為你收集整理的CVPR2020 论文解读：少点目标检测的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。