大牛講堂 | 鄔書哲：物體檢測算法的革新與傳承

本文作者：大牛講堂

2016-11-10 10:01

導(dǎo)語：?鄔書哲博士對山世光博士此前講到的內(nèi)容在細(xì)節(jié)上做了補(bǔ)充：R-CNN系列、YOLO和SSD、Cascade CNN。

雷鋒網(wǎng)(公眾號：雷鋒網(wǎng))按：本文作者鄔書哲博士，師從中科院計(jì)算所山世光博士。

鄔書哲博士對山世光博士講到的內(nèi)容在細(xì)節(jié)上做了補(bǔ)充。其補(bǔ)充內(nèi)容主要包含三個(gè)部分：首先是深度學(xué)習(xí)在物體檢測領(lǐng)域點(diǎn)燃的星星之火，即R-CNN系列的工作，其次是針對檢測器的速度問題所提出的兩個(gè)代表性方法：YOLO和SSD，最后是傳承了經(jīng)典檢測方法的Cascade CNN。

?

R-CNN系列

R-CNN的出現(xiàn)帶來檢測精度的一次巨大提升，在Pascal VOC 2010上，全面超越了之前的方法，mAP提高了20%；在ImageNet的物體檢測競賽上，刷新了之前的冠軍記錄，mAP提高了10%。然而R-CNN的檢測速度非常慢，在GPU上處理一張圖需要13s，在CPU上處理一張圖需要長達(dá)53s。

Fast R-CNN是R-CNN的加速版本，其借鑒了SPP-net的做法，在提取每個(gè)窗口的特征之前，直接在全圖上進(jìn)行卷積，避免了大量重復(fù)計(jì)算，同時(shí)采用SVD分解對分類所用的全連接層進(jìn)行壓縮，將一個(gè)大的全連接層拆解成兩個(gè)小的全連接層。通過這樣的策略，Fast R-CNN相比R-CNN能夠有213倍的加速比。

總的來看，Fast R-CNN還是不夠快，因?yàn)槠洳捎昧薙elective Search來提取候選窗口，這部分處理一張圖在CPU上需要2s，而即使是采用EdgeBox，在GPU上也需要0.3s，這個(gè)時(shí)間和分類的時(shí)間相當(dāng)。于是Faster R-CNN進(jìn)一步引了RPN網(wǎng)絡(luò)，并且讓其和分類網(wǎng)絡(luò)共享卷積層，實(shí)現(xiàn)進(jìn)一步的加速。從R-CNN到Faster R-CNN，這是一個(gè)化零為整的過程，從不同的模塊不同的方法來做，到最后整合到同一個(gè)網(wǎng)絡(luò)中來做，精度不斷提高，速度也是在不斷提高的。

Faster R-CNN中有一個(gè)非常關(guān)鍵的設(shè)計(jì)，也就是anchor box，相比于之前的滑動(dòng)窗口+圖像金字塔的方式，采用anchor box實(shí)際上是固定輸入圖像不變，而改成去變化窗口，采用不同大小和長寬比的窗口來掃描圖像。Faster R-CNN在Pascal VOC 2012、ILSVRC 2015和MS COCO 2015的檢測任務(wù)上都獲得了最好成績，并且在絕大多數(shù)類別上都獲得了最高的AP。

在Faster R-CNN中，如果采用ResNet這樣的網(wǎng)絡(luò)結(jié)構(gòu)，那么每一個(gè)候選窗口都要經(jīng)過其最后一組卷積層的計(jì)算，這會(huì)帶來巨大的時(shí)間開銷，這部分時(shí)間大概會(huì)占到總的檢測時(shí)間的三分之一，因此出現(xiàn)了一個(gè)改進(jìn)版：R-FCN，其將RoIPooling后移，最后一組卷積繼續(xù)在整個(gè)特征圖上做，從而進(jìn)一步避免了重復(fù)計(jì)算。R-FCN中有一個(gè)比較巧妙的設(shè)計(jì)，叫做位置敏感得分圖，以這張圖為例，在判斷候選框里面是不是一個(gè)人的時(shí)候，其會(huì)分別觀察這個(gè)框的各個(gè)位置，如左上角、右上角等，然后分別作出判斷，之后再投票整合得到最終的分類結(jié)果。可以看到這個(gè)跟DPM稍微有點(diǎn)相似，但是不同的是這里各個(gè)部分的幾何關(guān)系是固定的，而DPM會(huì)推斷各個(gè)部件的位置。

R-FCN相比于Faster R-CNN在達(dá)到類似精度的條件下在速度上能夠有3倍左右的提升，在某些情況下甚至能夠有20倍的提升。

YOLO和SSD

R-CNN系列方法經(jīng)過一系列的加速，在很多情況下，還是無法達(dá)到實(shí)時(shí)的25fps這個(gè)要求，影響速度的因素有很多，包括輸入大小、候選窗口的數(shù)量等。并且這一系列方法還有一個(gè)特點(diǎn)，就是要看兩次，一看定候選窗口，二看才定檢測結(jié)果。為了提高檢測速度，出現(xiàn)了YOLO和SSD這樣的方法，其特點(diǎn)就是只看一次，直接得到檢測結(jié)果。

另外輸入圖像的尺寸也減小了，從Faster R-CNN的1000x600減小到了YOLO的446x446，網(wǎng)絡(luò)規(guī)模也進(jìn)行了一定的控制。可以看到在YOLO的網(wǎng)絡(luò)最后是兩個(gè)全連接層，直接用全圖的信息來預(yù)測檢測框，這可以看成是對上下文的信息進(jìn)行了利用，還有就是全連接層的計(jì)算本身比較快。YOLO使得檢測速度得到了很大提升，快速版本在GPU可以達(dá)到150fps，然而其精度下降得非常厲害，因此實(shí)用性大大降低了。

有兩個(gè)因素是比較影響精度的，一是網(wǎng)格劃分，其使得位置過于粗糙，二是網(wǎng)絡(luò)深度，太深層的特征使得特征過于粗糙。SSD一方面控制了網(wǎng)絡(luò)深度，另一方面在回歸窗口的時(shí)候會(huì)同時(shí)采用不同層的特征，在較淺層上回歸小的窗口，在較深層上回歸大的窗口。SSD速度相比沒有YOLO那么快，但是換來了精度上的提升。如果和前面提到的Faster R-CNN相對比，SSD可以看成是一個(gè)RPN網(wǎng)絡(luò)。個(gè)人認(rèn)為，在完全相同的條件下，SSD速度會(huì)更快，但是Faster R-CNN精度會(huì)更好。

Cascade CNN

最后要講的方法是經(jīng)典上的一個(gè)傳承：Cascade CNN。當(dāng)考慮一些特定類別目標(biāo)的檢測的時(shí)候，尤其是人臉和人體，對速度的要求會(huì)更高，而如果只考慮單一類別的物體，傳統(tǒng)的級聯(lián)結(jié)構(gòu)分類器仍然是非常有效的方法。而RPN加上Fast R-CNN的形式本身看起來也是一種級聯(lián)。Cascade CNN是3組一共6個(gè)網(wǎng)絡(luò)進(jìn)行級聯(lián)，交替進(jìn)行分類和邊框校準(zhǔn)。分類網(wǎng)絡(luò)的輸入圖像的分辨率是隨著輸入規(guī)模動(dòng)態(tài)調(diào)整的，在最開始輸入規(guī)模比較大的時(shí)候，用比較小的輸入圖像，這樣可以盡量的節(jié)約時(shí)間，然后逐漸從12x12變化到24x24，再到48x48。

Cascade CNN在做窗口校準(zhǔn)的時(shí)候，還不是采取回歸的方式，而是人為的設(shè)置了45種不同的模式，然后采用分類的方式來對窗口進(jìn)行校準(zhǔn)。Cascade CNN后續(xù)也有一些跟進(jìn)的工作，例如采用多任務(wù)協(xié)同學(xué)習(xí)，這種做法在網(wǎng)絡(luò)比較小的時(shí)候，能夠讓它的精度得到提升。再有比方說把多級分類器協(xié)同訓(xùn)練，這樣可以采用類似于Faster R-CNN那樣端到端的訓(xùn)練方式，這可以使精度再進(jìn)一步往上提。

總結(jié)

從之前的工作到現(xiàn)在的工作，有一些基本的策略，包括難例挖掘，多尺度，相關(guān)任務(wù)協(xié)同學(xué)習(xí)，上下文建模等，這些策略都被廣泛驗(yàn)證是有效的。當(dāng)出現(xiàn)一個(gè)新的方法之后，大家往往會(huì)把同樣的策略應(yīng)用到這個(gè)新方法上去，做出一系列的工作。

物體檢測領(lǐng)域現(xiàn)在還有很多其它的工作，比如說DenseBox、尺度相關(guān)池化、Inside-Outside Net、Multi-region CNN等等，這些方法很多都體現(xiàn)了以上提到的策略，同時(shí)也使基于深度學(xué)習(xí)的物體檢測方法走得更遠(yuǎn)。?

《新程序員》：云原生和全面數(shù)字化實(shí)踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的大牛讲堂 | 邬书哲：物体检测算法的革新与传承的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。