Escape from Cells: Deep Kd-Networks for the Recognition of 3D Point Cloud Models

1、四個(gè)問(wèn)題

要解決什么問(wèn)題？

• 3D點(diǎn)云識(shí)別任務(wù)。

用了什么方法解決？

• 參考KD樹的結(jié)構(gòu)，提出了一種新的樹形結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，用來(lái)處理不規(guī)則的點(diǎn)云數(shù)據(jù)。

效果如何？

• 在形狀分類任務(wù)、形狀檢索任務(wù)以及形狀部件分割任務(wù)中都取得了領(lǐng)先的效果。

還存在什么問(wèn)題？

• 如果點(diǎn)云存在旋轉(zhuǎn)，那么KD樹在X/Y/Z軸方向進(jìn)行切分時(shí)會(huì)得到不同的結(jié)果，影響最終的效果。
• 每次網(wǎng)絡(luò)做前向操作時(shí)，都需要先將輸入的點(diǎn)云轉(zhuǎn)為KD樹，預(yù)處理時(shí)必須要占用一定時(shí)間。

2、論文概述

2.1、簡(jiǎn)介

• 我們都知道，由于點(diǎn)云是非歐式結(jié)構(gòu)的數(shù)據(jù)，無(wú)法對(duì)其直接應(yīng)用CNN。常用的思路是將其轉(zhuǎn)換為體素網(wǎng)格，但是這樣會(huì)帶來(lái)額外的內(nèi)存消耗和很大的計(jì)算量。
• 作者認(rèn)為：諸如KD樹、八叉樹等數(shù)據(jù)結(jié)構(gòu)常被用于表示不規(guī)則的數(shù)據(jù)。那么，是否能將這些數(shù)據(jù)結(jié)構(gòu)擴(kuò)展到深度神經(jīng)網(wǎng)絡(luò)中呢？這樣的網(wǎng)絡(luò)結(jié)構(gòu)也就能夠處理那些不規(guī)則結(jié)構(gòu)的數(shù)據(jù)。
• 由此，作者提出了KD網(wǎng)絡(luò)，主要是模仿卷積神經(jīng)網(wǎng)絡(luò)的思想，但是又使用KD樹的結(jié)構(gòu)來(lái)構(gòu)建計(jì)算圖。

2.2、KD-Networks

• 圖1是KD-Netwoks的示意圖。圖中只考慮二維的情況。
• 在一個(gè)有8個(gè)點(diǎn)的點(diǎn)云上建立KD樹，在每一層都從X/Y軸選擇一個(gè)維度進(jìn)行劃分。
• 從根節(jié)點(diǎn)到葉節(jié)點(diǎn)對(duì)KD樹的每個(gè)節(jié)點(diǎn)進(jìn)行編號(hào)，根節(jié)點(diǎn)編號(hào)為0，往后遞增。
• KD數(shù)最左邊的8到15號(hào)節(jié)點(diǎn)實(shí)際就是原始點(diǎn)云，右邊的0號(hào)節(jié)點(diǎn)可以看做輸出的類別預(yù)測(cè)$v_0$。
• 從左到右，可以看做這個(gè)KD-Network的特征前向傳播的方向。
• 圖中的圓圈表示的是特征傳播并聚合的過(guò)程，對(duì)應(yīng)卷積核，其參數(shù)是可學(xué)習(xí)的。相同的顏色表示共享參數(shù)，即如果是在相同維度對(duì)點(diǎn)集進(jìn)行劃分，認(rèn)為其卷積參數(shù)也應(yīng)該共享。

2.2.1、輸入

• 由于KD-Network每次都要從3D點(diǎn)云構(gòu)建KD樹，而KD樹的節(jié)點(diǎn)數(shù)是$N=2^D$，因此點(diǎn)云的點(diǎn)數(shù)也必須是$2^D$。如果點(diǎn)云的點(diǎn)數(shù)不同，還需要對(duì)其做上采樣或者下采樣。
• 構(gòu)建KD樹時(shí)，我們以自頂向下的方式遞歸地生成每個(gè)樹節(jié)點(diǎn)。每次都選取能最好地分割整個(gè)點(diǎn)集的坐標(biāo)軸作為劃分標(biāo)準(zhǔn)，將點(diǎn)集劃分為兩個(gè)一樣大的子集，然后遞歸生成。
• 一個(gè)深度為$D$的平衡KD樹包含有$N?1=2^D?1$個(gè)非葉節(jié)點(diǎn)。
• 每個(gè)非葉節(jié)點(diǎn)$V_i\in \mathcal{T}$都與三個(gè)劃分方向$d_i$（X/Y/Z軸，$d_i\in \{X,Y,Z\}$）以及劃分位置$t_i$有關(guān)。
• KD樹上的節(jié)點(diǎn)還與層數(shù)$l_i\in \{1,\dots ,D?1\}$有關(guān)，$l_i=1$是根節(jié)點(diǎn)，$l_i=D$是葉節(jié)點(diǎn)，也對(duì)應(yīng)著3D點(diǎn)云上的點(diǎn)。
• 假設(shè)KD樹是平衡樹，那么第$i$號(hào)節(jié)點(diǎn)的子節(jié)點(diǎn)的編號(hào)分別是$c_1(i)=2i$和$c_2(i)=2i+1$。

2.2.2、KD-Networks的數(shù)據(jù)處理

• 給定一個(gè)輸入的KD樹$\mathcal{T}$，KD-Network會(huì)計(jì)算KD樹的每個(gè)節(jié)點(diǎn)上的特征向量${\mathbf{v}}_i$。
• 葉節(jié)點(diǎn)即輸入是一個(gè)$k$維向量，由輸入點(diǎn)云的維度確定。
• 第$l(i)$層上的非葉節(jié)點(diǎn)$i$，其子節(jié)點(diǎn)$c_1(i)$和$c_2(i)$在第$l(i)+1$層，其特征向量${\mathbf{v}}_{c_1(i)}$和$${\mathbf{v}}_{c_1(i)}$$已經(jīng)計(jì)算好了。那么當(dāng)前節(jié)點(diǎn)$i$的特征向量${\mathbf{v}}_i$的計(jì)算公式如下：
  • ${\mathbf{v}}_i=?\begin{array}{l}?\left(W_{\mathrm{x}}^{l_i}\left[{\mathbf{v}}_{c_1(i)};{\mathbf{v}}_{c_2(i)}\right]+{\mathbf{b}}_{\mathrm{x}}^{l_i}\right),if{d}_i=x\\ ?\left(W_{\mathrm{y}}^{l_i}\left[{\mathbf{v}}_{c_1(i)};{\mathbf{v}}_{c_2(i)}\right]+{\mathbf{b}}_{\mathrm{y}}^{l_i}\right),if{d}_i=y\\ ?\left(W_{\mathrm{z}}^{l_i}\left[{\mathbf{v}}_{c_1(i)};{\mathbf{v}}_{c_2(i)}\right]+{\mathbf{b}}_z^{l_i}\right),if{d}_i=z\end{array}$
  • 或簡(jiǎn)寫為：${\mathbf{v}}_i=?\left(W_{d_i}^{l_i}\left[{\mathbf{v}}_{c_1(i)};{\mathbf{v}}_{c_2(i)}\right]+{\mathbf{b}}_{d_i}^{l_i}\right)$
  • $?(?)$是非線性單元（ReLU）。
  • 第$l_i$層的可學(xué)習(xí)的參數(shù)是$\left\{W_{\mathrm{x}}^{l_i},W_{\mathrm{y}}^{l_i},W_{\mathrm{z}}^{l_i},{\mathbf{b}}_{\mathrm{x}}^{l_i},{\mathbf{b}}_{\mathrm{y}}^{l_i},{\mathbf{b}}_{\mathrm{z}}^{l_i}\right\}$。
  • 根據(jù)KD樹的劃分方向$d_i$，選取上面三組參數(shù)中的一組進(jìn)行計(jì)算。
• 每層的矩陣$W$和$b$的維度為$m^1,m^2,\dots ,m^D$。
• 第$l$層的$W_{\mathrm{x}}^l$、$W_{\mathrm{y}}^l$、$W_{\mathrm{z}}^l$維度是$m^l\times 2m^{l+1}$（因?yàn)槊總€(gè)非葉節(jié)點(diǎn)有兩個(gè)子節(jié)點(diǎn)），而${\mathbf{b}}_{\mathrm{x}}^l$、${\mathbf{b}}_{\mathrm{y}}^l$、${\mathbf{b}}_{\mathrm{z}}^l$的維度是$m^l$。

2.2.3、分類網(wǎng)絡(luò)結(jié)構(gòu)

• 對(duì)于分類網(wǎng)絡(luò)來(lái)說(shuō)，只要讓根節(jié)點(diǎn)輸出的特征向量的維度數(shù)為類別數(shù)，即可得到分類結(jié)果。
  • ${\mathbf{v}}_0(\mathcal{T})=W^0{\mathbf{v}}_1(\mathcal{T})+{\mathbf{b}}^0$
  • $W^0$和${\mathbf{b}}^0$是最后的分類層的參數(shù)。

2.2.4、形狀檢索網(wǎng)絡(luò)結(jié)構(gòu)

• 與分類網(wǎng)絡(luò)類似，但是最后的根節(jié)點(diǎn)輸出的不是分類預(yù)測(cè)結(jié)果而是一個(gè)描述子（特征向量）。訓(xùn)練時(shí)加上度量學(xué)習(xí)的損失函數(shù)：histogram loss，siamese loss，triplet loss等，來(lái)約束輸出的特征向量，使得同類形狀的特征向量之間距離更小，不同類的特征向量之間距離更大。

2.2.5、分割網(wǎng)絡(luò)結(jié)構(gòu)

• 在部件分割任務(wù)上，KD-Network參考了卷積神經(jīng)網(wǎng)絡(luò)對(duì)結(jié)構(gòu)進(jìn)行了更改，也使用了編碼器-解碼器（encoder-decoder）的結(jié)構(gòu)，并加入了跳躍連接（skip connections）。

• 上圖是分割網(wǎng)絡(luò)的示意圖。
• 這里的分割網(wǎng)絡(luò)可以看成是將兩個(gè)KD樹拼接在了一起，左半邊與分類網(wǎng)絡(luò)和檢索網(wǎng)絡(luò)結(jié)構(gòu)一樣，是encoder；右半邊是decoder，也就是倒過(guò)來(lái)的KD樹，將根節(jié)點(diǎn)的特征傳播到所有的葉節(jié)點(diǎn)上。
• 設(shè)右半部分的KD樹的根節(jié)點(diǎn)為${\mathbf{v}}_1$，而節(jié)點(diǎn)$i$上的特征向量為${\mathbf{v}}_i$。
• 特征傳播時(shí)的更新公式如下：
  • $\begin{array}{rl}{\tilde{\mathbf{v}}}_{c_1(i)}& =?\left(\left[{\tilde{W}}_{d_{c_1(i)}}^{l_i}{\tilde{\mathbf{v}}}_i+{\tilde{\mathbf{b}}}_{d_{c_1(i)}}^{l_i};S^{l_i}{\mathbf{v}}_{c_1(i)}+{\mathbf{t}}^{l_i}\right]\right)\\ {\tilde{\mathbf{v}}}_{c_2(i)}& =?\left(\left[{\tilde{W}}_{d_{c_2(i)}}^{l_i}{\tilde{\mathbf{v}}}_i+{\tilde{\mathbf{b}}}_{d_{c_2(i)}}^{l_i};S^{l_i}{\mathbf{v}}_{c_2(i)}+{\mathbf{t}}^{l_i}\right]\right)\end{array}$
  • ${\tilde{W}}_{d_{c?(i)}^{l_i}}$和${\tilde{\mathbf{b}}}_{d_{c,(i)}}^{l_i}$分別是網(wǎng)絡(luò)中的權(quán)重和偏置參數(shù)。
  • $S^{l_i}$和$t^{l_i}$分別是跳躍連接上的權(quán)重和偏置參數(shù)。
• 整個(gè)網(wǎng)絡(luò)的結(jié)構(gòu)類似U-Net，在encoder-decoder結(jié)構(gòu)的基礎(chǔ)之上加入了shortcut，避免一些信息的損失。

2.2.6、實(shí)現(xiàn)細(xì)節(jié)

• 預(yù)處理，所有點(diǎn)云都事先歸一化到$[?1;1{]}^3$。

2.3、實(shí)驗(yàn)

3、參考資料

Escape from Cells: Deep Kd-Networks for the Recognition of 3D Point Cloud Models

總結(jié)

以上是生活随笔為你收集整理的论文笔记：KD-Net的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。