在《動手學(xué)無人駕駛（4）：基于激光雷達(dá)點(diǎn)云數(shù)據(jù)3D目標(biāo)檢測》一文中介紹了3D目標(biāo)檢測網(wǎng)絡(luò)PointRCNN。今天介紹該作者新提出的3D檢測模型：PVRCNN，論文已收錄于CVPR2020。
作者個人主頁為：https://sshaoshuai.github.io/。
知乎ID為：https://www.zhihu.com/people/yilu-kuang-shuai。
PVRCNN論文鏈接為：https://arxiv.org/pdf/1912.13192.pdf。
代碼鏈接為：https://github.com/open-mmlab/OpenPCDet。

在介紹論文前，大家可以先看看作者此前分享的3D目標(biāo)檢測報(bào)告：https://www.bilibili.com/video/av89811975?zw

基于點(diǎn)云場景的三維物體檢測算法及應(yīng)用

文章目錄

• • • 1. PVRCNN算法
    • • 1.1 3D Voxel CNN for Efficient Feature Encoding and Proposal Generation
      • 1.2 Voxel-to-keypoint Scene Encoding via Voxel Set Abstraction
      • 1.3 Keypoint-to-grid RoI Feature Abstraction for Proposal Refinement
    • 2. Experiments

1. PVRCNN算法

在目前的點(diǎn)云目標(biāo)檢測中，3D voxel CNNs可以生成高質(zhì)量的proposals；而基于PointNet的方法由于其感受野靈活，可以捕獲更準(zhǔn)確的目標(biāo)位置信息。

在本文中，作者對這兩種檢測方法進(jìn)行集成，首先使用3D voxel CNNs作為主干網(wǎng)來生成高質(zhì)量的proposalas，然后在每一個proposal中，為了充分有效池化點(diǎn)云特征，作者提出了兩種新的池化方式：Voxel-to-keypoint scene encoding與keypoint-to-grid ROI feature abstraction。通過這兩種池化方法，能夠有效提高預(yù)測可信度以及對目標(biāo)位置進(jìn)行優(yōu)化。

1.1 3D Voxel CNN for Efficient Feature Encoding and Proposal Generation

這部分相對比較好理解，使用3D CNNs作為主干網(wǎng)，將輸入的點(diǎn)云劃分為一個個voxel。作者總共進(jìn)行了4次下采樣，最后投影到鳥瞰圖上，生成proposal。從結(jié)果可以看出，這種生成proposal的方式有著更高的召回率。

---

1.2 Voxel-to-keypoint Scene Encoding via Voxel Set Abstraction

PointNet中提出的set abstraction operation顯示出了強(qiáng)大的特征提取能力，能夠?qū)θ我饪臻g尺寸的點(diǎn)云集進(jìn)行特征抽取。受此啟發(fā)，作者提出了將多個voxels的特征聚合到keypoints上。

首先是Keypoints Sampling，和PointRCNN一樣，作者使用最遠(yuǎn)點(diǎn)采樣法（FPS）在所有點(diǎn)云中選取出$n$個關(guān)鍵點(diǎn)，在KITTI數(shù)據(jù)中$n=2048$。

然后是Voxel Set Abstraction Module（VSA），如下圖所示，作者在每一次進(jìn)行下采樣時都進(jìn)行了一次VSA操作，將不同尺度范圍的voxel特征匯聚到keypoints。

具體地操作如下，其中$l_k$表示第$k$層網(wǎng)絡(luò)，$p_i$表示為keypoint，$v_j^{(l_k)}$表示為第$k$層網(wǎng)絡(luò)中voxel坐標(biāo)，$f_j^{(l_k)}$表示為voxel隊(duì)以應(yīng)地特征向量。這樣就組成每個keypoint鄰域集$S_i^{l_k}$：包括voxel特征向量及voxel與keypoint之間地相對位置。

然后是對$S_i^{l_k}$進(jìn)行一次$max$操作。具體操作如下，其中$M$表示在集合$S_i^{l_k}$中最多選取出$T_k$個voxels，$G$表示進(jìn)行多層感知機(jī)操作，最外層是$max$操作。最終生成地每個keypoint特征為$f_i^{{pv}_k}$。

對每一層3D CNNs網(wǎng)絡(luò)都進(jìn)行上述VSA操作，這樣就得到了keypoint結(jié)合后地特征$f_i^{(pv)}$。

現(xiàn)在將VSA模塊進(jìn)行擴(kuò)展，我們對原始點(diǎn)云進(jìn)行公示（2）的操作，得到特征$f_i^{raw}$。對鳥瞰圖上的keypoint進(jìn)行二項(xiàng)插值得到特征$f_i^{(bev)}$，最終，關(guān)鍵點(diǎn)$keypoint$特征為$f_i^{(p)}$：

這里作者還設(shè)計(jì)了一個predicted keypoint weighting模塊，如下圖所示。在訓(xùn)練時，可以根據(jù)annotation來判斷選取地關(guān)鍵點(diǎn)是不是屬于前景點(diǎn)，這里訓(xùn)練使用地?fù)p失函數(shù)為focal loss。

---

1.3 Keypoint-to-grid RoI Feature Abstraction for Proposal Refinement

經(jīng)過上面的處理，得到了一組含有多尺度語義特征的關(guān)鍵點(diǎn)集（keypoints with multi-scale semantic features）
。
為了進(jìn)一步優(yōu)化，作者在這里提出了keypoint-to-grid RoI feature abstraction，如下圖4所示。

首先在每一個候選方案（proposal）中，統(tǒng)一采樣$6\times 6\times 6$個gird points。這里的采樣公式如下，其中$g_i$表示為grid points，$p_j$表示為keypoint，$f_j^{(p)}$表示為關(guān)鍵點(diǎn)特征。

然后使用一個PointNet-block得到grid point特征，具體方法如下：

最后通過兩層MLP網(wǎng)絡(luò)，得到256維的特征向量。

---

2. Experiments

下圖是論文作者在KITTI數(shù)據(jù)集提交的結(jié)果（截至2020年11月22日），目前排在第15位，是榜上唯一開源的方案。

總的來說，作者提出的voxel-based和PointNet-based方法還是很創(chuàng)新的，值得借鑒。

總結(jié)

以上是生活随笔為你收集整理的详解两阶段3D目标检测网络PVRCNN：Point-Voxel Feature Set Abstraction for 3D Object Detection的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。