?????? 受限于點(diǎn)云本身的無序性，不同設(shè)備在不同位置掃描物體所獲得的數(shù)據(jù)不盡相同，數(shù)據(jù)難以通過端到端方法來處理；點(diǎn)云本身也面臨數(shù)據(jù)缺失的問題，比如被掃描模型往往會被遮擋。

?????? 針對無序點(diǎn)云數(shù)據(jù)的深度學(xué)習(xí)方法研究，目前進(jìn)展還相對緩慢。在 CVPR 2017 上，斯坦福大學(xué)提出的 PointNet 是第一種直接處理無序點(diǎn)云數(shù)據(jù)的深度神經(jīng)網(wǎng)絡(luò)。團(tuán)隊通過在每個點(diǎn)訓(xùn)練一個 MLP，把每個點(diǎn)投到一個 1024 維空間上，并采用了 Max Pooling 層做為主要的對稱函數(shù)，比較好地解決了順序問題。隨后斯坦福大學(xué)在 NIPS 2017 上的 Pointnet++，對 PointNet 做出了更多改進(jìn)。

??????? PointNet++是在PointNet上做出了改進(jìn)，考慮了點(diǎn)云局部特征提取，從而更好地進(jìn)行點(diǎn)云分類和分割。

先簡要說一下PointNet:

?????? PointNet，其本質(zhì)就是一種網(wǎng)絡(luò)結(jié)構(gòu)，按一定的規(guī)則輸入點(diǎn)云數(shù)據(jù)，經(jīng)過一層層地計算，得出分類結(jié)果或者分割結(jié)果。其中比較特殊的地方在于兩個轉(zhuǎn)換矩陣（input transform & feature transform）的存在，根據(jù)文中所說，這兩個轉(zhuǎn)換矩陣可以在深度學(xué)習(xí)過程中保持點(diǎn)云數(shù)據(jù)的空間不變性。

?????? 根據(jù)論文里所說，圖中的input transform是一個3*3的矩陣，作為深度學(xué)習(xí)的一個參數(shù)存在。而feature transform由于維數(shù)較大（64*64），所以文中采用了正交約束的方法限制這個矩陣，從而使優(yōu)化可以快速收斂。

?

???????? PointNet：PointNet Deep Learning on Point Sets for 3D Classification and Segmentation .

???????? 簡介：PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation-論文解讀

??????

PointNet++改進(jìn)：http://stanford.edu/~rqi/pointnet2/

??????? 官網(wǎng)就有GitHub地址，再次再貼一遍：https://github.com/charlesq34/pointnet2

??????? 重點(diǎn)小圓圈：Feature Learning ，對每一個點(diǎn)局部進(jìn)行特征提取。這個對復(fù)雜的物體和場景比較有意義，對于小的工件，總之，多多還是益善的。

??????? 作者使用鄰域球球來定義分區(qū)，或者也可以叫做patch，每個區(qū)域可以通過中心坐標(biāo)和半徑來確定。

??????? 不愧為斯坦福大學(xué)的，有我當(dāng)年提取物體位姿Rift特征，深得球形區(qū)間提取特征的精髓。當(dāng)然，半徑取多大，和密度有多大，都可以根據(jù)劃分與覆蓋的公式來計算平移不變性和旋轉(zhuǎn)不變性（貌似旋轉(zhuǎn)不變性差一些）。

??????? 文中使用適當(dāng)?shù)闹夭蓸臃椒ê拖鄳?yīng)的插值方法。

???????? PointNet++：PointNet++: Deep Hierarchical Feature Learning onPoint Sets in a Metric Space

???????? 簡介：PointNet++閱讀筆記 ??

????????

?

注意事項(xiàng)：

??????? 無序點(diǎn)云融合模式識別一個重要的過程是有序化，笛卡爾坐標(biāo)系化表示簡單，但遍歷與結(jié)構(gòu)化描述比較困難。PointNet++進(jìn)行，輸入數(shù)據(jù)的標(biāo)準(zhǔn)化工作，輸入一個梯級/逐漸稠密表示模型。

????? ? 方法：從一點(diǎn)開始（可以是密度最高點(diǎn)，也可以隨機(jī)選取），作為已選集合，使用測地線判斷離已選集合最遠(yuǎn)點(diǎn)，然后更新已選集合，再次添加新的集合最遠(yuǎn)點(diǎn)，這樣不管獲得多少個點(diǎn)，都意味著模型的稀疏點(diǎn)表示。隨著點(diǎn)集的增加，模型的表示越來越精確。PointNet++中使用了1024個維度，因此網(wǎng)絡(luò)數(shù)據(jù)標(biāo)準(zhǔn)化時候可能面臨點(diǎn)云填充問題，或者更好的方法是，在標(biāo)準(zhǔn)化之處先進(jìn)行點(diǎn)云數(shù)據(jù)預(yù)填充工作。

??????? 劉洪森同學(xué)對此網(wǎng)絡(luò)進(jìn)行了改進(jìn)，暫時還沒有仔細(xì)Get他的進(jìn)展。

?

?

總結(jié)

以上是生活随笔為你收集整理的三维CNN：收集一些最近的3d卷积网络PointNet++的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。