歡迎大家來到《知識星球》專欄，這兩天有三AI知識星球專注更新3D相關的網絡模型解讀，共10期左右。3D網絡在視頻數據，點云圖像，3D醫學圖像，光流估計等領域有重要的作用，是當前的一類主流模型。

作者&編輯 | 言有三

有三AI知識星球-網絡結構1000變

PointNet

點云就是一些三維點的集合，處理點云技術需要三維的卷積架構，早期處理點云首先將其轉換為有固定順序的三維晶格，然后用普通的三維卷積網絡處理，但是這種轉換往往帶來副作用。PointNet是首個直接處理無序點云數據的網絡，可以用于點云分類和分割任務，取得了很好的效果。

作者/編輯 言有三

點云數據是一組無序的向量集合，若不考慮其他諸如顏色等因素，只考慮點的坐標，相同的點云可以由兩個完全不同的矩陣表示。有N個點的點云，實際上有N！種排序，對于沒有固定規則的排序，卷積神經網絡CNN中的權重共享等策略就無法應用，因此CNN無法直接應用于點云數據。

要使得網絡對點云的這些輸入組合輸出相同的結果，有三種常見思路。其一是按照坐標進行排序，但是排序方法也不是唯一和穩定的。其二就是將所有的排序組合作為一個序列輸入RNN等網絡，但這樣顯然計算效率極低。其三就是設計一些函數，使其輸出對輸入的順序不敏感，這就是PointNet的處理思路。

網絡結構如下：

以上網絡包含了兩個重要的技術：

(1) 使用maxpooling解決無序性問題。特征提取網絡得到的特征為n×1024，使用maxpooling將其變成1x1024的全局特征，然后送入分類網絡。

(1) 使用空間變換網絡獲取空間轉換不變性。利用網絡學習點云本身的位姿信息，得到旋轉矩陣，圖中包括兩次。第一次是input transform，它對空間中的點云進行旋轉調整后得到更有利于任務的角度，變換矩陣為3×3，這屬于數據預處理。第二次是feature transform，它將提取出的64維特征進行對齊，變換矩陣為64×64。由于變換矩陣過大，通過添加正則項，使變換矩陣近似于正交矩陣，從而大大降低參數量。

如果是分割問題，則將feature transform后的特征和全局特征進行concat得到特征，然后輸入分割模塊。

以上是該方法和其他主流模型在3D形狀數據集Model40上的分類結果，除了多視角模型之外，有較大的性能優勢。

上圖展示的是Kinect數據集和Model40的分割結果。

更多相關的模型解讀

加入有三AI知識星球即可獲取

每日更新

已經超過3萬字的內容

覆蓋各類主流網絡架構

轉載文章請后臺聯系

侵權必究

往期精選

• 【知識星球】千奇百怪的網絡結構板塊更新到哪里了？

• 【知識星球】動態推理網絡結構上新，不是所有的網絡都是不變的

• 【知識星球】做作業還能贏獎金，傳統圖像/機器學習/深度學習盡在不言中

• 【知識星球】數據集板塊重磅發布，海量數據集介紹與下載

• 有三AI知識星球官宣，BAT等大咖等你來撩

• 揭秘7大AI學習板塊，這個星球推薦你擁有

• 有三AI“夏季劃”出爐，今夏進階中級CV算法工程師

總結

以上是生活随笔為你收集整理的【知识星球】3D网络结构解读系列上新的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。