當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

论文翻译基于R-FCN的物体检测

發布時間：2024/9/21 编程问答 35 豆豆

生活随笔收集整理的這篇文章主要介紹了论文翻译基于R-FCN的物体检测小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

本文轉載自：

http://www.jianshu.com/p/db1b74770e52

題目：基于R-FCN的物體檢測

文章地址：arXiv:1605.06409.
《R-FCN: Object Detection via Region-based Fully Convolutional Networks》
Github鏈接：https://github.com/daijifeng001/r-fcn

(轉載請注明出處：[譯] 基于R-FCN的物體檢測 (zhwhong)?)

摘要

　　我們使用R-FCN（region-based, fully convolutional networks）進行精確和有效的物體檢測。對比之前的區域檢測（Fast/Faster R-CNN [6 , 18] 應用于每一個區域子網格要花費數百次），我們的區域檢測是基于整幅圖片的全卷積計算。為了達到這個目標，我們使用了一個“位敏得分地圖”（position-sensitive score maps）來權衡在圖像分類中的平移不變性和在物體檢測中的平移變換性這樣一種兩難境地。我們的方法采用了全卷積圖片分類主干部分，例如用于物體檢測的最新的殘差網絡（Residual Networks） (ResNets)[9]。在PASCAL VOC（e.g.，83.6% mAP on the 2007 set）數據集的實驗上，我們使用了101層ResNet達到了很好的效果。同時，我們僅僅使用了170ms/每張圖片，比Faster R-CNN匹配快了2.5~20倍左右。公開的代碼可以在此網站中訪問到：https://github.com/daijifeng001/r-fcn

簡介

　　比較流行的關于物體檢測的深度網絡可以通過ROI pooling layer分成兩個子網絡：

（1）a shared, “fully convolutional” subnetwork independent of RoIs.（獨立于ROI的共享的、全卷積的子網絡）
（2）an RoI-wise subnetwork that does not share computation.（不共享計算的ROI-wise子網）

　　這種分解來源于較早之前的分類框架，例如：AlexNet[10]和VGGNets[23]，他們由兩個子網組成，一個是以spatial pooling layer結束的卷積子網，一個是若干個fully-connected layers。因此，spatial pooling layrer很自然的在本實驗中被轉變成了ROI pooling layer。

　　但是最近的關于藝術圖片分類的網絡，例如殘差網絡（ResNets）和GoogleNets都是用fully convolutional設計的。通過分析，使用所有的卷積層去構建一個進行物體檢測的共享的卷積網絡是一件十分自然的事，而不把ROI-wise 子網作為隱藏層（hidden layer）。然而，通過實證調查，這個天真的想法需要考慮到inferior detection accuracy（極差的檢測精度）與網絡的superior classification accuracy（較高的分類精度）不匹配的問題。為了解決這個問題，在殘差網絡（ResNet）[9]中， ROI pooling layer of the Faster R-CNN detector 插入了兩組卷積層，他們創造了一個更深的ROI-wise子網來提高準確度，由于每個ROI的計算不共享，因此速度會比原來的要慢。

　　上述設計主要是為了解決圖片分類的平移不變性與物體檢測之間的平移變換性之間的矛盾。一方面，圖像級別的分類任務側重于平移不變性（在一幅圖片中平移一個物體而不改變它的判別結果），因此深度全卷積網絡結構很適合處理這類圖片分類的問題。

圖一
圖二

　　另一方面，物體檢測任務需要定義物體的具體位置，因此需要平移變換特性。為了解決這矛盾，在ResNet的檢測方法中插入了ROI pooling layer到卷積層（this region-specific operation breaks down translation invariance,and the post-RoI convolutional layers are no longer translation-invariant when evaluated across different regions）。然而，這個設計犧牲了訓練和測試的效率，因為它引入了大量的region-wise layers。

　　在本篇文獻中，我們開發出了一個稱之為R-FCN（Region-based Fully Convolutional Network）的框架來用于物體檢測。我們的網絡由共享的全卷積結構，就像FCN一樣[15]。為了把平移變換特性融合進FCN中，我們創建了一個位敏得分地圖（position-sensitive score maps）來編碼位置信息，從而表征相關的空間位置。在FCN的頂層，我們附加了一個position-sensitive ROI pooling layer 來統領這些得分地圖（score maps）的信息，這些得分地圖不帶任何權重層。整個結構是端對端（end-to-end）的學習。所有可學習的層在整幅圖片中都是可卷積的并且可共享的，并且可以編碼用于物體檢測的空間信息。圖 1說明了這個關鍵的思路（key idea）,圖 2比較了區域檢測的各種算法。

　　使用101層的Residual Net作為骨架，我們的R-FCN在PASCAL VOC 2007測試集上達到了83.6%的mAP，在2012測試集上達到了82.0%的mAP。同時，我們的結果實現了170ms/每張圖片的速度，比Faster R-CNN+ResNet-101 [9] 快了2.5~20倍。這個實驗結果說明了我們的方法成功的解決了基于全卷積網絡的圖像級別的分類問題中的平移不變性和平移變換性之間的矛盾，就像ResNet能夠被有效的轉換成全卷積物體檢測器（fully convolutional object detectors.）一樣。詳細的代碼參見：https://github.com/daijifeng001/r-fcn

方法

Overview（概覽）

　　對于下面的R-CNN，我們采用了兩種流行的策略：region proposal和region classification.我們通過region proposal Network（RPN）來抽取候選區域，它自身是一個全卷積結構。接下來，我們在RPN和R-FCN中共享這些特性。圖 3展示了整個系統的結構。

圖三

　　考慮到proposal region， R-FCN結構用來將ROI分類為物體和背景。在R-FCN中，所有可學習的權重層都是可卷積的并且是在整幅圖片中進行計算。最后一個卷積層產生一堆K2個position-sensitive score maps 針對于每一個物體類別。因此有k2(C+1)個通道輸出層（C個物體目錄項+1個背景）。這K2個得分地圖由K×k個空間網格來描述相對位置。例如，對于K×k = 3×3，這9個得分地圖將物體類別編碼為9個例子。

　　R-FCN以position-sensitive ROI pooling layer作為結束層。他將最后一個卷積層的輸出結果聚集起來，然后產生每一個ROI的得分記錄。我們的position-sensitive RoI層產生的是selective pooling，并且k×k的每個條目僅僅聚集來自于k×k得分地圖堆里面的一個得分地圖。通過端對端的訓練，ROI 層帶領最后一層卷積層去學習特征化的position-sensitive score maps。圖 1說明了這個過程。圖 4、圖 5是兩個可視化的例子。本算法的具體細節介紹參見后面的條目。

圖四
圖五

Backbone architecture（主干架構）

　　R-FCN算法是基于ResNet-101[9]的，雖然其他的深度學習網絡可以應用。RstNet-101有100個帶global average pooling的卷積層，有一個1000級的fc層（fully-connected）。我們去掉了global average pooling和fc layer，然后只使用卷積層來計算feature maps。We use the ResNet-101 released by the authors of [9], pre-trained on ImageNet [20]。在ResNet-101中，最后一個卷積塊是2048-d（2048維度）我們附加了一個隨機初始化的1024d的1×1的卷積層來降低維度（更精確的，我們增加了卷積層的深度），然后我們使用了k2(C+1)個通道的卷積層來產生得分地圖，下面會有具體的介紹。

Position-sensitive socre maps & position-sentitive RoI pooling

　　為了在每個RoI中編碼位置信息，我們通過一個網格把每個RoI分成k×k個bins。對于w×h的RoI區域，每一個bin的大小≈w/k×h/k。在我們的方法中，最后一個卷積層有k2個得分地圖組成。對于第i行第j列的bin（0≤i , j≤k-1）, 其得分地圖的計算公式為：

　　在本篇論文中我們通過平均得分來對ROI區域進行投票，從而產生（C+1）維的向量。然后我們計算了每一個目錄項的softmax響應：

　　在訓練和評級的時候，他們被用來估計交叉熵損失（cross-entropy loss）。

　　進一步的，我們用相似的方法定位了邊界框回歸（bounding box regression）。在k2(C+1)個卷積層，我們附加了一個4k2個卷積層用于邊界框回歸。Position-sensitive RoI pooling 在4k2的map中表現出來，對于每一個RoI，產生一個4k2位的向量，然后被聚合為一個4維向量通過平均投票。這個4維用 t = (t_x, t_y, t_w, t_h) 參數化一個邊框。

　　Position-sensitive score maps 有一部分的靈感來自于實例級的語義分割FCNs。進一步的，我們引入了position-sensitive RoI pooling layer 來統領物體檢測得分地圖的學習。在ROI層之后，沒有可學習的層，從而來加快訓練和測試（training and inference）。

Training（訓練）

　　在預先計算了region proposals，端對端地訓練R-FCN結構是非常簡單的。接下來，我們的損失函數（loss fuction）的定義由兩部分組成：交叉熵損失（cross-entropy loss）和邊界回歸損失（box regression loss）：

上式中，C是RoI的真實標簽（C?= 0表示的是背景）。

是用于分類的交叉熵損失函數（cross-entropy loss）

L_reg 是邊界回歸損失函數（bounding box regression loss）
t* 表示真實邊框。
λ 被初始化設置為1。

　　當RoI與實際邊框的重疊部分至少有0.5，那么我們認為是positive examples，否則是negative example。

　　在訓練時，我們的方法采用OHEM（online hard example mining）是非常容易的。每個RoI區域的計算是可忽略的，從而使得樣例挖掘（example mining）近乎是cost-free的。假定每張圖片有N個proposals，一個直接的方法是，我們計算所有N個proposals的損失。然后我們對所有ROI按照損失進行排序。然后挑選B個具有最高損失的ROI。Backpropagation（反向傳播算法）是基于選擇的樣例來演算的。因為我們的每個ROI的計算都是近似可以忽略的，所以forward time基本上不會受N的影響。而OHEM Fast R-CNN可能是會花費雙倍的時間。在下表中，我們提供了一個詳細的時間數據。

　　我們使用了0.0005的權重衰減系數和0.9的動量。缺省情況下，我們使用單尺度（single-scale）的訓練：圖片被統一調整為600個像素的大小。每個GPU處理1張圖片，選取B=128ROI來用于反向傳播。我們使用了8個GPU來訓練模型（所以有效的小批量（mini-batch）大小是8×）。對于20k個mini-batches我們使用了0.001的學習速率；而對于10k個mini-batches，我們使用了0.0001的學習速率。為了讓R-FCN擁有帶RPN的特征，我們采用了4步交替訓練，在RPN和R-FCN中交替訓練。

Inference（推論）

　　特征地圖(feature maps)在RPN和R-FCN中共享計算。然后RPN部分選擇出了ROI,而R-FCN部分評估了catagogy-wise scores和regresses bounding boxes。在推論階段，我們計算了300個ROI區域。結果通過non-maximum suppression(NMS)來進行后處理，使用了0.3IoU的閾值，作為standard practice。

A trous and stride

　　我們的全卷積網絡架構是在FCN的基礎上進行修改的。特別的，我們將ResNet-101的stride從32像素減少到16像素，從而增加了得分地圖數量。All layers before and on the conv4 stage [9] (stride=16) are unchanged; the stride=2 operations in the first conv5 block is modified to have stride=1, and all convolutional filters on the conv5 stage are modified by the “hole algorithm” [15, 2] (“Algorithme à trous” [16]) to compensate for the reduced stride. For fair comparisons, the RPN is computed on top of the conv4 stage (that are shared withR-FCN), as is the case in [9] with Faster R-CNN, so the RPN is not affected by the à trous trick. The following table shows the ablation results of R-FCN (k _ k = 7 _ 7, no hard example mining). The à trous trick improves mAP by 2.6 points.

Visualization（可視化）

　　在圖 4和圖 5我們展示了通過R-FCN學習到的position-sensitive score maps。不同的特征地圖標志了不同的特征相對位置信息。例如：“top-center-sensitive”score map對于那些top-center位置關系的物體顯示了較高的分數。如果一個候選框與真實物體精確的重合了（圖 4），那么大多數的k2個bins會被強烈的激活，然后會得到較高的分數。相反的，如果候選邊框與真實物體并沒有完全準確的重合（圖 5）那么有一些k2bins不會被激活，從而導致得分很低。

實驗

總結與展望

　　我們提出的Region-based Fully Convolutional Networks是一個簡單、精確、有效的用于物體檢測的框架。我們的系統很自然的采用了state-of –the –art 圖片分類骨架，就像基于全卷積的ResNets一樣。我們的方法比Faster R-CNN更精確，并且在訓練和預測上都比它要快。

　　我們特意使本篇論文中給出的R-FCN看起來簡單。其實仍然存在一系列的FCNS的正交擴展用來進行語義分割，還有一些基于區域方法的擴展用來進行物體檢測。很高興我們的系統能夠享受到這些成果。

Reference

總結

以上是生活随笔為你收集整理的论文翻译基于R-FCN的物体检测的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

上一篇：论文理解 R-FCN：基于区域的全卷积网
下一篇： SSD 安装、训练、测试（ubuntu1