本文對(duì)基于激光雷達(dá)的無(wú)監(jiān)督域自適應(yīng)3D物體檢測(cè)進(jìn)行了研究，論文已收錄于 ICCV2021。

在Waymo Domain Adaptation dataset上，作者發(fā)現(xiàn)點(diǎn)云質(zhì)量的下降是3D物件檢測(cè)器性能下降的主要原因。因此論文提出了Semantic Point Generation (SPG)方法，首先在預(yù)測(cè)的前景點(diǎn)區(qū)域生成語(yǔ)義點(diǎn)云，復(fù)原前景點(diǎn)物體缺失的部分。然后，將原始點(diǎn)云與生成的語(yǔ)義點(diǎn)云進(jìn)行融合得到增強(qiáng)后的點(diǎn)云數(shù)據(jù)，再使用通用的3D物體檢測(cè)器進(jìn)行檢測(cè)。在Waymo 和 KITTI 數(shù)據(jù)集上，無(wú)論是在target domain 還是 source domain上，本文提出的SPG方法都大幅提高了3D物檢檢測(cè)器的性能。

論文鏈接為：https://arxiv.org/pdf/2108.06709v1.pdf

---

1. Introduction

首先是引出本文要解決的問(wèn)題：Waymo Open Dataset (OD)數(shù)據(jù)集是在California和Arizona收集的，而Waymo Kirkland Dataset (Kirk)是在Kirk收集的，這里將OD數(shù)據(jù)當(dāng)作source domain，Kirk數(shù)據(jù)當(dāng)作target domain。

作者使用PointpPllars模型在OD訓(xùn)練集上訓(xùn)練，然后在OD和Kirk驗(yàn)證集上進(jìn)行驗(yàn)證。從表1可以看出，雨天下收集到的點(diǎn)云質(zhì)量下降很厲害，平均每幀缺失點(diǎn)數(shù)幾乎是干燥天氣下的兩倍，檢測(cè)性能也下降了27%左右；同時(shí)從Range Image上也可以看出雨天下物體點(diǎn)云缺失的區(qū)域也更不規(guī)則。

---

2. Semantic Point Generation

本文提出的SPG輔助檢測(cè)方法如下圖所示，SPG首先在預(yù)測(cè)的前景點(diǎn)區(qū)域生成語(yǔ)義點(diǎn)集，然后語(yǔ)義點(diǎn)集與原始點(diǎn)云相結(jié)合得到增強(qiáng)點(diǎn)云 $P{C}_{aug}$，最后再使用一個(gè)點(diǎn)云檢測(cè)器得到檢測(cè)結(jié)果。

2.1 Training Targets

設(shè)原始輸入點(diǎn)云為 $P{C}_{raw}=\{p_1,p_2,...,p_N\}\in {\mathbb{R}}^{3+F}$，$3$ 表示點(diǎn)云坐標(biāo)，$F$ 表示點(diǎn)云屬性。

• SPG首先將原始點(diǎn)云劃分為一個(gè)個(gè)Voxel，對(duì)于每一個(gè)Voxel，模型首先預(yù)測(cè)其為前景Voxel的概率 ${\tilde{P}}^f$，然后在每一個(gè)前景Voxel生成語(yǔ)義點(diǎn)集 $\widetilde{sp}$，其特征為 $\tilde{\psi }=[\tilde{\chi },\tilde{f}]$，分別表示語(yǔ)義點(diǎn)集的坐標(biāo)和屬性。
• 在與原始點(diǎn)云融合時(shí)只保留置信度超過(guò) $P_{thresh}$ 的 $K$ 個(gè)點(diǎn)，得到增強(qiáng)后的點(diǎn)云$P{C}_{aug}=\left\{{\hat{p}}_1,{\hat{p}}_2,\dots ,{\hat{p}}_N,{\widetilde{sp}}_1,{\widetilde{sp}}_2,\dots ,{\widetilde{sp}}_K\right\}\in {\mathbb{R}}^{3+F+1}$，最后一個(gè)通道表示點(diǎn)為前景點(diǎn)的置信度，原始點(diǎn)云則置信度為 $1.0$，語(yǔ)義點(diǎn)集則置信度為 ${\tilde{P}}^f$。

在訓(xùn)練時(shí)，如果劃分的Voxel為前景voxel $V^f$，則其對(duì)應(yīng)類別 $y_i^f=1$，否則為 $y_i^f=0$。如果劃分的Voxel非空的話， 令 ${\psi }_i=\left[{\bar{\chi }}_i,{\bar{f}}_i\right]$ 為回歸目標(biāo)，其中 $\overline{{\chi }_i}$ 為Voxel中所有前景點(diǎn)的平均坐標(biāo)，${\bar{f}}_i$ 為前景點(diǎn)的屬性平均值。

---

2.2 Model Structure

SPG模型結(jié)構(gòu)由三部分組成：

• 首先是Voxle特征編碼模塊，對(duì)每一個(gè)Voxel進(jìn)行特征學(xué)習(xí)，編碼成pillars投影到鳥(niǎo)瞰圖；
• 然后是信息傳播模塊，將非空pillars語(yǔ)義信息傳播到附近非空pillars；
• 最后是語(yǔ)義點(diǎn)集生成模塊，在每一個(gè)前景Voxel生成語(yǔ)義點(diǎn)集 ${\widetilde{sp}}_i=\left[{\tilde{\chi }}_i,{\tilde{f}}_i,{\tilde{P}}_i^f\right]$。

---

2.3 Foreground Region Recovery

為了在 empty areas 生成語(yǔ)義點(diǎn)集，作者設(shè)計(jì)了兩個(gè)策略Hide and Predict和Semantic Area Expansion。

• Hide and Predict。原始點(diǎn)云 $P{C}_{raw}$ 劃分為Voxel集合 $V=\{v_1,v_2,...,v_M\}$，在訓(xùn)練時(shí)，丟棄 $\gamma \%$的非空Voxel $V_{hide}$，SPG需要預(yù)測(cè)出這些隱藏的Voxel標(biāo)簽 $y^f$和對(duì)應(yīng)點(diǎn)特征 $\tilde{\psi }$。
• Semantic Area Expansion。作者設(shè)計(jì)了一個(gè)擴(kuò)展語(yǔ)義區(qū)域策略（圖5所示），用以在empty space生成語(yǔ)義點(diǎn)集。具體地，非空和空的背景Voxel為 $V_o^b,V_e^b$，其對(duì)應(yīng)標(biāo)簽為 $y^f=0$；非空前景Voxel $V_o^f$ 類別標(biāo)簽 $y^f=1$；bounding box中空的前景Voxel $V_e^f$ 類別標(biāo)簽為 $y^f=1$，同時(shí)增加一個(gè)權(quán)重系數(shù) $\alpha <1$；監(jiān)督學(xué)習(xí)非空前景Voxel $V_o^f$ 點(diǎn)集特征 $\psi$。圖6為是否使用Expansion生成語(yǔ)義點(diǎn)集的效果。

---

2.4 Objectives

損失函數(shù)有兩個(gè)，一個(gè)是類別損失函數(shù)，其中 $V_o$ 為非空Voxel，$V_e^b$ 為空的背景Voxel，$V_e^f$ 為空的前景Voxel，$V_{hide}$ 為隱藏的Voxel。

$$\begin{array}{rl}{L}_{cls}& =\frac{1}{\left|V_o\cup V_e^b\right|}\sum _{V_o\cup V_e^b}{L}_{\text{focal?}}+\frac{\alpha }{\left|V_e^f\right|}\sum _{V_e^f}{L}_{\text{focal?}}+\frac{\beta }{\left|V_{\text{hide?}}\right|}\sum _{V_{\text{hide?}}}{L}_{\text{focal?}}\end{array}$$

另一個(gè)是點(diǎn)集回歸損失函數(shù)：
$$\begin{array}{rl}{L}_{\text{reg?}}& =\frac{1}{\left|V_o^f\right|}\sum _{V_o^f}{L}_{\text{smooth-?}L1}(\tilde{\psi },\psi )+\frac{\beta }{\mid V_{\text{hide?}}^f}\sum _{V_{\text{hide?}}^f}{L}_{\text{smooth-L1?}}(\tilde{\psi },\psi )\end{array}$$

---

3. Experiments

首先是在Waymo數(shù)據(jù)集上的檢測(cè)結(jié)果：

然后是在KITTI數(shù)據(jù)集上的檢測(cè)結(jié)果。

總結(jié)

以上是生活随笔為你收集整理的详解3D物体检测模型 SPG: Unsupervised Domain Adaptation for 3D Object Detection via Semantic Point Generation的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。