原論文：PPFNet: Global Context Aware Local Features for Robust 3D Point Matching

PPFNet

1、四個(gè)問(wèn)題

要解決什么問(wèn)題？

• 在3D視覺(jué)中，3D幾何信息的局部描述子在許多任務(wù)中扮演了很重要的角色，諸如：對(duì)應(yīng)性估計(jì)、匹配、配準(zhǔn)、物體檢測(cè)以及形狀恢復(fù)等。盡管近10年間，出現(xiàn)了一系列手工設(shè)計(jì)（hand-craft）的3D特征描述子，但是卻很難為3D點(diǎn)云數(shù)據(jù)生成理想的可重復(fù)且具有區(qū)分性的局部描述子。因?yàn)楹芏鄷r(shí)候，3D點(diǎn)云中含有較多噪聲，或是不完整的。
• 所以，這篇論文的目的是為3D點(diǎn)云生成理想且魯棒的3D局部特征子。

用了什么方法解決？

• 文中，提出了PPFNet網(wǎng)絡(luò)。基于深度學(xué)習(xí)方法來(lái)生成易區(qū)分且抗旋轉(zhuǎn)的3D局部特征子。
• 首先，將一些簡(jiǎn)單的幾何特征屬性如：點(diǎn)的坐標(biāo)、法線以及點(diǎn)對(duì)特征（point pair features, PPF），組合起來(lái)成原始特征；
• 隨后，又設(shè)計(jì)了一個(gè)新的損失函數(shù)：N-tuple Loss。其類似于contrastive loss，能同時(shí)將多個(gè)同類或者不同類樣本嵌入到一個(gè)歐式空間中，樣本之間的差異用其特征向量的歐式距離表示。
• 最后，PPFNet網(wǎng)絡(luò)的結(jié)構(gòu)繼承自PointNet，因此它天生就可以處理點(diǎn)云以及應(yīng)對(duì)點(diǎn)的無(wú)序性。

效果如何？

• 文中對(duì)PPFNet進(jìn)行了額外的驗(yàn)證實(shí)驗(yàn)，在準(zhǔn)確率、速度、對(duì)點(diǎn)的稠密程度的魯棒性以及抗3D平移旋轉(zhuǎn)等方面都取得了最state-of-the-art的效果。

還存在什么問(wèn)題？

PPFNet的一個(gè)問(wèn)題在于二次內(nèi)存的占用，導(dǎo)致我們只能將硬件上的patch數(shù)限制為2000個(gè)。而另一個(gè)3D匹配方法——3D Match，則取到5000個(gè)，所以在某些特定任務(wù)上效果相比下略微差一些。

現(xiàn)在的3D匹配都是基于室內(nèi)場(chǎng)景的3D特征點(diǎn)匹配，還沒(méi)有針對(duì)更具一般性更難的場(chǎng)景下進(jìn)行研究。

2、論文概述

2.1、相關(guān)工作

hand-crafted的3D特征描述子：

• 旋轉(zhuǎn)不變特征，比如點(diǎn)對(duì)特征（point pair feature, PPF），例如：PPFH、FPFH。

訓(xùn)練得到的3D特征描述子：

• 有一部分方法是直接處理點(diǎn)云，進(jìn)行編碼。比如，TDF、TSDF等。最近有一項(xiàng)此類的研究工作——3DMatch，它先使用TSDF進(jìn)行編碼，隨后使用一個(gè)contrastiev loss損失函數(shù)來(lái)衡量樣本間的一致性并訓(xùn)練網(wǎng)絡(luò)。
• 另外一個(gè)分支，是基于3D信息獲取投影的2D圖片或者深度圖，并使用已經(jīng)廣泛研究過(guò)的基于2D圖片的分類網(wǎng)絡(luò)。
• 此外還有一個(gè)分支，圖網(wǎng)絡(luò)（graph networks）也可以用于表示點(diǎn)集。
• 一個(gè)比較重要的突破源自于PointNet，可以直接輸入原始的3D點(diǎn)云。之后還擴(kuò)展為了PointNet++，以更好地提取局部信息。

2.2、背景

2.2.1、動(dòng)機(jī)

• 假設(shè)有兩個(gè)點(diǎn)集$X\in {\mathbb{R}}^{n\times 3}$和$Y\in {\mathbb{R}}^{n\times 3}$，其中$x_i$和$y_i$分別表示連個(gè)點(diǎn)集中對(duì)應(yīng)的第$i$個(gè)點(diǎn)的坐標(biāo)。
• 假設(shè)每個(gè)點(diǎn)$x_i$都有一個(gè)與之對(duì)應(yīng)的$y_i$，使用一個(gè)置換矩陣$P\in {\mathbb{P}}^n$來(lái)表示這個(gè)對(duì)應(yīng)關(guān)系。
• 兩個(gè)點(diǎn)集之間的變換關(guān)系矩陣可以定義為：$T=\{R\in SO(3),t\in {\mathbb{R}}^3\}$。
• 點(diǎn)集之間的L2距離如下：

$$d(X,Y|R,t,P)=\frac{1}{n}\sum _{i=1}^n\Vert x_i?R{y}_{i(P)}?t\Vert \text{\hspace{1em}(1)}$$

• 其中，$x_i$與$y_{i(P)}$之間的對(duì)應(yīng)關(guān)系為$P$。
• 假設(shè)$X$和$Y$的維度相同，即$|X|=|Y|=n$。
• 式子1可以轉(zhuǎn)為如下式：

$$d(X,Y|T,P)=\frac{1}{n}\Vert X?PY{T}^T\Vert \text{\hspace{1em}(2)}$$

• 理想情況下，如果兩個(gè)點(diǎn)集相互匹配，那么$d(X,Y|T,P)\approx 0$。
• 這也意味著，我們需要尋找一個(gè)也滿足類似性質(zhì)的非線性映射關(guān)系：$f(x)$。

$$d_f(X,Y|T,P)=\frac{1}{n}\Vert f(X)?f(PY{T}^T)\Vert \text{\hspace{1em}(3)}$$

• 如果兩個(gè)點(diǎn)集相互匹配，那么也會(huì)有：$d_f(X,Y|T,P)\approx 0$。
• 此外，為了保證旋轉(zhuǎn)和置換不變性，最好能保證$f(Y)\approx f(PY{T}^T)$。
• 很自然地，就想到了PointNet架構(gòu)，它可以處理無(wú)序點(diǎn)集，并提取成全局特征。

2.2.2、Point Pair Features（PPF）

• PPF是一個(gè)4維的描述子，表示的是一對(duì)點(diǎn)$x_1$和$x_2$的表面特征，計(jì)算公式如下：

$${\psi }_{12}=(\Vert d\Vert ,\angle (n1,d),\angle (n2,d),\angle (n1,n1))\text{\hspace{1em}(4)}$$

• $d$：兩個(gè)點(diǎn)之間的差值，是一個(gè)向量。
• $n_1$、$ n_2$分別是$x_1 $、$ x_2$上的法向量。
• $\Vert \dot{}\Vert$：歐氏距離。
• $\angle$表示向量之間的夾角：

$$\angle (v_1,v_2)=atan2(\Vert v_1\times v_2\Vert ,v_1?v2)\text{\hspace{1em}(5)}$$

2.2.3、PointNet

• 文中只是用了原始的PointNet（vanilla PointNet），不帶STN單元。
• PointNet是通過(guò)一些獨(dú)立的MLP來(lái)處理點(diǎn)云數(shù)據(jù)，最后通過(guò)一個(gè)全局的最大池化來(lái)提取全局特征，可以處理無(wú)序、長(zhǎng)度可變化的點(diǎn)集。（具體內(nèi)容不做贅述，可以參考PointNet的論文）

2.3、PPFNet

2.3.1、局部幾何信息編碼

• $x_r$為中心點(diǎn)，$x_i$表示一個(gè)以$x_r$為中心的patch內(nèi)的點(diǎn)（即$i$為$r$領(lǐng)域的點(diǎn)）

$$F_r=\{x_r,n_r,x_i,...,n_i,...,{\psi }_{ri},...\}\text{\hspace{1em}(6)}$$

2.3.2、網(wǎng)絡(luò)結(jié)構(gòu)

輸入包含有N個(gè)均勻采樣的局部區(qū)域（local patches）。

從這些區(qū)域中提取特征，隨后送入mini-PointNet中，進(jìn)一步提取特征。所有的PointNet的權(quán)值和偏置參數(shù)都共享。

接著使用一個(gè)最大池化層將各個(gè)patch的局部特征聚合為全局特征。

然后再把全局特征拼接到各個(gè)局部特征上。

最后使用一組MLP來(lái)融合局部和全局特征得到最終的3D特征描述子。

2.3.3、N-tuple Loss

• 兩種常用的loss函數(shù)：contrastive loss和triplet loss。盡管這兩個(gè)loss會(huì)盡可能區(qū)分2/3個(gè)樣本，但是也存在一些隱患，如圖中所示，盡管都滿足了減小類內(nèi)間距增加類間間距的要求，但是并沒(méi)有保證所有的樣本都能滿足這一性質(zhì)。而樣本對(duì)的選取是隨機(jī)的，無(wú)法保證一定能包括所有可能情況。
• 將這類loss推廣到N個(gè)樣本的情況，提出了N-tuple loss。
• 給定ground truth的變換矩陣$T$，首先要計(jì)算點(diǎn)集對(duì)齊后的對(duì)應(yīng)性矩陣：$M\in {\mathbb{R}}^{N\times N}$。$M=(m_{ij})$

$$m_{ij}=\sigma (\Vert x_i?T{y}_j{\Vert }_2<\tau )\text{\hspace{1em}(7)}$$

• $\sigma$是標(biāo)志函數(shù)。
• 類似地，也可以計(jì)算特征空間距離矩陣$D\in {\mathbb{R}}^{N\times N}$和$D=d_{ij}$：

$$d_{ij}=\Vert f(x_i)?f(y_i){\Vert }_2\text{\hspace{1em}(8)}$$

• N-tuple loss計(jì)算公式如下：

$$L=\sum ^{?}(\frac{M°D}{\Vert M{\Vert }_2^2}+\alpha \frac{max(\theta ?(1?M)°D,0)}{N^2?\Vert M{\Vert }_2^2})\text{\hspace{1em}(9)}$$

• $°$表示矩陣的哈達(dá)馬乘積（hadamard product），即矩陣對(duì)應(yīng)位置的數(shù)相乘。
• $\alpha$為權(quán)衡同類和異類樣本對(duì)間距的超參數(shù)，$\theta$為異類樣本點(diǎn)之間距離的下邊界（最小值）。

2.4、訓(xùn)練網(wǎng)絡(luò)

總結(jié)

以上是生活随笔為你收集整理的论文笔记：PPFNet的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。