點(diǎn)擊藍(lán)字關(guān)注我們，關(guān)注并星標(biāo)

從此不迷路

計(jì)算機(jī)視覺(jué)研究院

學(xué)習(xí)群｜掃碼在主頁(yè)獲取加入方式

論文地址：?https://arxiv.org/pdf/1904.04821.pdf

01

概述

在目標(biāo)檢測(cè)框架中，平等對(duì)待所有樣本并以平均性能最大化目標(biāo)是一種常見(jiàn)的范例。在今天分享中，研究者通過(guò)仔細(xì)研究不同的樣本如何對(duì)以mAP衡量的總體性能做出貢獻(xiàn)，重新審視了這一范式。

研究表明，每個(gè)小批次中的樣本既不是獨(dú)立的，也不是同等重要的，因此平均而言，更好的分類(lèi)器并不一定意味著更高的mAP。在這項(xiàng)研究的激勵(lì)下，研究者提出了原始樣本的概念，這些樣本在推動(dòng)檢測(cè)性能方面起著關(guān)鍵作用。研究者進(jìn)一步開(kāi)發(fā)了一種簡(jiǎn)單而有效的抽樣和學(xué)習(xí)策略，稱(chēng)為“預(yù)防樣本注意力”（PISA），將訓(xùn)練過(guò)程重點(diǎn)指向此類(lèi)樣本。

研究者的實(shí)驗(yàn)表明，在訓(xùn)練檢測(cè)器時(shí)，關(guān)注prime sample（其實(shí)就是正樣本中IoU高的樣本和負(fù)樣本中得分高的樣本）通常比關(guān)注難樣本更有效。特別是，在MSCOCO數(shù)據(jù)集上，PISA在單級(jí)和兩級(jí)檢測(cè)器上的性能始終優(yōu)于隨機(jī)采樣基線和難挖掘方案，例如OHEM和Focal Loss，大約為2%，即使其具有強(qiáng)大的主干ResNeXt-101。

02

背景

Improvement of NMS with localization confidence

IoUNet建議使用定位置信度而不是NMS的分類(lèi)分?jǐn)?shù)。它增加了一個(gè)額外的分支來(lái)預(yù)測(cè)樣本的IoU，并使用NMS的定位置信度，即預(yù)測(cè)IoU。IoUNet和新提出的方法之間存在一些主要差異。

首先，IoUNet旨在為預(yù)測(cè)IoU較高的候選提供更高的分?jǐn)?shù)。在這項(xiàng)工作中，研究者發(fā)現(xiàn)高IoU并不一定意味著對(duì)訓(xùn)練很重要。特別是，圍繞目標(biāo)的候選之間的相對(duì)排名也起著至關(guān)重要的作用。其次，研究者的目標(biāo)不是改進(jìn)NMS，沒(méi)有利用額外的分支來(lái)預(yù)測(cè)定位置信度，而是調(diào)查prime sample的重要性，并建議更多地關(guān)注基于重要性的重加權(quán)的基礎(chǔ)樣本，以及將兩個(gè)分支的訓(xùn)練關(guān)聯(lián)起來(lái)的新?lián)p失。

03

Prime Sample

左：白色虛線表示ground truth，紅色框表示prime sample，藍(lán)框?yàn)殡y例樣本

右：不同采樣策略下模型的PR曲線，random表示平等對(duì)待各個(gè)樣本，hard表示重點(diǎn)關(guān)注難例樣本，prima表示重點(diǎn)關(guān)注重要樣本

可以看到，基于prime sample的采樣策略能夠更好地提升檢測(cè)器的性能，原因是什么呢？

目標(biāo)檢測(cè)中，我們的目的是提高mAP，首先就要了解什么是mAP？

AP就是ROC曲線下的面積。在繪制ROC曲線時(shí)，檢測(cè)框的置信度決定了該檢測(cè)框是否被保留，該檢測(cè)框與標(biāo)注框的IOU決定了該檢測(cè)框是否對(duì)應(yīng)了真實(shí)目標(biāo)，這兩個(gè)方面都影響了TP,FP和Recall,Precision和AP。

根據(jù)map的定義，哪些正樣本比較重要？

mAP的工作方式揭示了兩個(gè)標(biāo)準(zhǔn):

（1）在與ground truth物體重疊的所有包圍盒中，IoU最高的那個(gè)是最重要的，因?yàn)槠銲oU值會(huì)直接影響 recall。（2）在所有不同對(duì)象的最高IoU邊界框中，具有較高IoU的邊界框更為重要，因?yàn)殡S著θ的增大，它們是最后一個(gè)低于IoU閾值θ的邊界框，因此對(duì)總體精度有很大影響。

在這些標(biāo)準(zhǔn)上，正樣本中IoU高的樣本對(duì)于目標(biāo)檢測(cè)器而言更為重要。

根據(jù)map的定義，哪些負(fù)樣本比較重要？

（1）在本地區(qū)域內(nèi)的所有負(fù)樣本中，得分最高的樣本最為重要。（2）在不同地區(qū)的所有得分最高的樣本中，得分較高的樣本更為重要，因?yàn)樗鼈兪堑谝粋€(gè)降低精度的樣本。

在負(fù)樣本中，因?yàn)楹芏嗟呢?fù)樣本會(huì)通過(guò)NMS（非極大值抑制）而去掉。所以，如果一個(gè)負(fù)樣本旁邊有個(gè)得分更高的樣本，那么這個(gè)負(fù)樣本就不重要，因?yàn)樗鼤?huì)被NMS去掉。

在這些標(biāo)準(zhǔn)上，負(fù)樣本中得分高的樣本對(duì)于目標(biāo)檢測(cè)器而言更為重要。

IoU-HLR和Score-HLR

根據(jù)樣本的重要性將樣本分為各個(gè)級(jí)別Hierarchical Local Rank (HLR).：

正樣本的分級(jí)方法是基于IOU的，所以成為IoU Hierarchical Local Rank (IoU-HLR)。負(fù)樣本的分級(jí)方法是基于Score的，所以叫做Score Hierarchical Local Rank (Score-HLR)。

IoU-HLR:

（1）獲得不同標(biāo)注框的正樣本候選框的IOU

（2）根據(jù)IOU將候選框分為不同的rank，IOU最大的為top1rank，從而獲得局部的rank

（3）不同目標(biāo)的對(duì)應(yīng)的rank組合在一起，并按照他們的IOU排序，這是全局的rank

（4）最后得到排序結(jié)果

這樣排序的原因：滿足了上面的兩個(gè)原則

第一個(gè)是，同一目標(biāo)，IOU最大的最重要，它將那些局部排序較高的樣本放在前面，這些樣本對(duì)于每一個(gè)單獨(dú)的gt來(lái)說(shuō)是最重要的；

第二個(gè)是，不同目標(biāo)，IOU大的更重要，在每個(gè)rank組內(nèi)，根據(jù)IoU對(duì)樣本進(jìn)行重新排序

右側(cè)是負(fù)樣本按照SCORE的排序方式，他和前面的排序方式是類(lèi)似的

在下圖中繪制了隨機(jī)樣本、難樣本和的prime sample分布，以及IoU和分類(lèi)損失。頂行顯示正樣本，底行顯示負(fù)樣本。據(jù)觀察，難正性樣本傾向于具有高分類(lèi)損失，并且沿著IoU軸在更寬的范圍內(nèi)分散，而prime sample正樣本趨向于具有高IoU和低分類(lèi)損失。難負(fù)性樣本往往具有高分類(lèi)損失和高IuU，而prime sample負(fù)樣本也覆蓋了一些低損失樣本，IuU分布更為分散。這表明這兩類(lèi)樣品具有本質(zhì)上不同的特征。

ISR

研究者提出了一種soft Sampling的方法——Importance-based Sample Reweighting (ISR), 它根據(jù)重要程度給samples分配了不同的loss weights，用線性方程可以將ri(第i個(gè)樣本所在的rank）轉(zhuǎn)換為ui（類(lèi)別j的第i個(gè)樣本的重要性），如下所示：

ui和wi存在著一個(gè)簡(jiǎn)單的遞增的關(guān)系：

cross entropy classification loss可以被改寫(xiě)為：

n和m分別是正樣本和全部樣本的總量。注意到簡(jiǎn)單的增加loss weights將會(huì)改變loss的全部值和正樣本負(fù)樣本之間的比例，所以我們將wi歸一化到wi’為了保證全部正樣本的loss不變。

04

實(shí)驗(yàn)及可視化

Examples of PISA (bottom) and random sampling (top) results. The score threshold for visualization is 0.2：

coco數(shù)據(jù)集上的評(píng)估結(jié)果

??THE END?

轉(zhuǎn)載請(qǐng)聯(lián)系本公眾號(hào)獲得授權(quán)

計(jì)算機(jī)視覺(jué)研究院學(xué)習(xí)群等你加入！

ABOUT

計(jì)算機(jī)視覺(jué)研究院

計(jì)算機(jī)視覺(jué)研究院主要涉及深度學(xué)習(xí)領(lǐng)域，主要致力于目標(biāo)檢測(cè)、圖像分割、模型量化、模型部署等研究方向。研究院接下來(lái)會(huì)不斷分享最新的論文算法新框架，我們這次改革不同點(diǎn)就是，我們要著重”研究“。之后我們會(huì)針對(duì)相應(yīng)領(lǐng)域分享實(shí)踐過(guò)程，讓大家真正體會(huì)擺脫理論的真實(shí)場(chǎng)景，培養(yǎng)愛(ài)動(dòng)手編程愛(ài)動(dòng)腦思考的習(xí)慣！

VX：2311123606

往期推薦

01 ●?Yolov7：最新最快的實(shí)時(shí)檢測(cè)框架，最詳細(xì)分析解釋（附源代碼） ? 點(diǎn)擊閱讀

02 ●?ECCV2022：在Transformer上進(jìn)行遞歸，不增參數(shù)，計(jì)算量還少！ ??點(diǎn)擊閱讀

03 ●?改進(jìn)的YOLO：AF-FPN替換金字塔模塊提升目標(biāo)檢測(cè)精度 ? 點(diǎn)擊閱讀

04 ●?QueryDet：級(jí)聯(lián)稀疏query加速高分辨率下的小目標(biāo)檢測(cè)（代碼已開(kāi)源） ? 點(diǎn)擊閱讀

?

?

?

總結(jié)

以上是生活随笔為你收集整理的重要样本关注机制：一种新颖的目标检测框架（附原论文下载）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。