? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?Semantic Segmentation of?Point Clouds using Deep?Learning?

在計算機視覺中，用3D表示數據變得越來越重要。 近年來，點云已成為3D數據的代表。 點云是一組3D點，它可以有不同的傳感器獲得，如激光雷達掃描儀。 點云也可以具有每個點的RGB值，這就是一個彩色的點云。 如今點云通常用于3D對象的可視化，機器人技術領域的3D地圖。 區分一個物體的點云，常用的方法是語義分割法。

在計算機視覺中，語義分割的任務是是分割圖像或者點云，區分出不同的分割物。 當使用語義分割時，它將圖像或點云劃分為語義上有意義的部分，然后在語義上將每個部分標記為預定義的類之一。 識別出不同點云或圖像數據內的物體，這在許多應用程序中非常有用。在二維語義分割中，論文【4】【20】【21】已經表明卷積神經網絡可以給出了良好的實驗結果。在3D情況下，論文【8】【19】使用隨機森林分類器來進行點云的語義分割是非常受歡迎的研究方法。圖一顯示了一個點云和具有相同語義的分割。 在本論文中，研究卷積神經網絡在點云語義分割中的應用。

? ? ?圖一，左圖顯示了一個帶有顏色的點云，用激光雷達掃描儀拍攝。 右圖顯示了點云的語義分割。 紅色：地面，綠色：天然草地，藍色：高植被，紫色：建筑物，青色：硬景觀 和黑色：無標簽或者無效。

?

如今，圖像或點云的語義分割的不同應用領域中使用。在機器人領域，語義分割例如用于標記機器人環境中的物體。如果機器人需要找到特定的對象，則需要進行某種對象識別。所以語義標注非常有用，因為機器人可以對其周圍的對象進行分類和識別。自主駕駛也是使用語義標簽分割的領域。對于一輛自行駕駛的車輛來說，它需要知道周圍有什么不同的物體。車輛要知道的最重要的事情之一是道路是怎么樣的是否是可以的可以行走的。另一個重要的事情要知道的是其他車輛的位置，知道其他車輛的位置這樣它可以適應它們的速度，或者在必要時超過它們。同樣在3D地圖中，語義標簽被用來可視化對象，例如建筑物，地形和道路。語義標簽可以給我們一個更容易理解的3D地圖。點云的語義分割另一個很有用的是3D點云的陪住。在配準中，計算兩組點之間的剛性變換以對齊兩個點集，比如論文【2】

?在點云數據上執行語義分割時，會比在2D圖像的語義分割中遇到更多困難。 一個大難題是3D的案例中沒有太多的訓練數據。 這是因為在3D中標注數據集比在2D中更難。 另一個挑戰是點云之間的點稀疏，這使得有可能透視物體。 這使得難以看到點云中的結構并區分一個點屬于哪個物體。

?文章的目的是利用預訓練的二維卷積神經網絡來研究點云的語義分割。 這是通過投影點云中的合成2D圖像并使用卷積神經網絡對它們進行分割來執行的。

?為了實現語義分割點云，我們選擇將點云投影到2D圖像中。 這是因為在2D中語義分割的問題比3D中的更容易，這意味著分類器有更多的選擇來分割圖像。 進行2D投影的另一個原因是2D中的訓練數據比3D中豐富。 這使得測試不同數據變得更加容易，并且還有更多種類的訓練數據。 學則使用卷積神經網絡（CNN）作為工具，因為它已被證明是用于圖像的語義分割的好工具。

?

本文提出了一種點云語義分割方法。 該方法的第一步是將點云投影到虛擬2D RGB圖像中。 然后，使用預訓練卷積神經網絡對圖像進行語義分類。 分類的結果會給我們在語義圖像中的每個像素中的每個類的一個分數。 然后將得分投影到點云數據中，這已不是給點云語義標記。 最后，使用來自數據集Semantic3D的地面實況來評估標記的點云。【3】

?

?所以文章主要是三部分，第一部分是介紹CNN在分類領域的流行，第二部分是利用CNN對2D圖像的分類，第三部分是3D點云的語義分割。

關于ＣＮＮ的部分就不再介紹，那么2D中的語義分割【１７】是在圖像中查找不同對象并將每個對象分類為預定義類的問題。 在圖像的語義分割中，圖像被分割并分類為預定義類。 一種常用的二維圖像語義分割方法是利用卷積神經網絡對像素進行標簽的圖像[4] [20] [21]。 在圖2中可以看到語義分割圖像的一個例子

?

　圖２　右圖為語義分割的結果

?接下來是３Ｄ點云的語義分割部分，在三維語義分割的情況下，就是語義分割點云而不再是２Ｄ的圖像。有不同的方法可以解決三維點云分割的問題，并且使用隨機森林分類器很受歡迎[19] [8]。隨機森林[1]由多個預測樹組成。每棵樹都會輸出一個預測的類，并且所有的樹都會投票給最受歡迎的類。在文章[19]中，作者通過使用條件隨機場（CRF）語義分割室內場景的點云。通過使用隨機森林分類器的結果來初始化CRF的一元勢，然后從訓練數據中學習成對勢。另一種方法[8]使用隨機森林分類器來對城市的三維模型進行語義分割。隨機森林分類器在輕量級3D特征上進行訓練，并用于場景的初始標記。然后通過檢測其語義結構的差異將場景分成單獨的外觀。最后，作者提出了建筑規則來表達像門面的對齊和共同出現等偏好，這有助于改善結果。另一種方法用于文獻[5]中，逐步對點云進行降采樣以生成多尺度鄰域。然后為每個比例級別計算一個搜索結構，從而快速且容易地從鄰域中提取特征。為了語義分割點云提取特征向量，然后使用隨機森林分類器進行分類。

?

?

?接下來就是描述三維語義分割的方法

本節簡要介紹了提出方法。該處理 方案由三部分組成。 第一部分是點云投影到二維RGB圖像，深度圖像和標簽圖像。 第二部分是使用CNN進行投影RGB圖像的語義分割。 第三部分是將分割后的圖像投影回點云。 在圖3.1中可以看到處理流程的概述。

?

該圖顯示了本文提出的點云語義分割的總體流程。 第一部分將點云投影到虛擬2D圖像中。 第二部分執行圖像的語義分割。 最后一部分將語義分割的圖像反投影到點云中，從而創建語義分割的點云。

（１）點云投影到2D中，首先介紹將點云投影到虛擬2D圖像中。投影的步驟為每個點云投影生成RGB圖像，深度圖像和標簽圖像。

定義相機參數
流程中的第一步是將點云投影到虛擬2D圖像中。 在該方法的情況下，這一步是必要的，因為我們使用無組織的點云作為輸入，并且初始相機未知。 正因為如此，我們將點云投影到2D圖像上。 為了生成2D圖像，我們需要選擇定義相機選擇點云的視點。 其他方法也是可行的，例如網格劃分，但是對于大點云來說太耗時了。 使用的相機模型由內參和外參矩陣表示。 外參矩陣是從世界坐標到相機坐標的變換。 內參矩陣反而定義了相機的幾何屬性。 攝像機的定義如，其中Ｒ是表示相機的外參旋轉的部分，是一個３×３的矩陣，Ｔ是一個３×１的矩陣表示相機的平移參數，Ｋ是相機的內參，它符合該式子的形式：，至于相機的內參就不再一一說明，似乎之前的文章就有說過關于相機的模型的介紹，雖然我的這篇博客寫的不好，但是網上是有很多類似的關于相機的模型的推導。

?

那么我們定義的相機可以放置在點云內的任何地方。 例子中，相機被放置在點云的原點。 這是因為使用的點云是通過單個激光雷達掃描獲得的。 然后攝像機只能投射在點云掃描過程中可見的區域上。 相機旋轉了一圈，因此它捕獲了大部分的帶你暈。 對于每次旋轉，都進行了投影操作。

?

第二步　Katz投影

在投影過程中，確定哪些點從相機可見是非常重要的。 為了解決這個問題，我們使用了一個叫做Katz投影的算法[7]。 使用Katz投影的原因是它是確定點云中哪些點可見的快速方法。 該算法使用一個隱藏點運算操作，刪除所有相機不可見的點。 例如，如果照相機在點云內投射一棵樹，它后面的所有點都被Katz投影移除。 該算法還消除彼此靠近的點云以加速算法。 katz投影分兩步進行，(inversion and convex hull construction )反演和凸包結構。 用于反演的方法稱為球形翻轉。 它通過在點云中的所有點周圍定義一個半徑為R的球體并將相機C放置在原點中來執行。 點的球形翻轉使用以下公式計算：,

左：使用以視點（品紅色）為中心的球體（綠色）2D曲線（藍色）的球形翻轉（紅色）。 右：凸包的反投影。 請注意，此圖片僅用于說明; 在實際中，R要大得多。

?在球形翻轉后，距離相機最近的點將離照相機最遠。

Katz算法的下一步是構造凸包來確定哪些點是可見的。 這是因為點p在變換點p_^駐留在凸包中時被認為是可見的。當確定哪些點可見時，將3D點投影到像素中。 這是通過以下公式完成的：,

其中C是相機矩陣，pi是可見點，p_^_i是投影點。 由于點不總是投影到像素上，因此使用最近鄰點將點投影到像素中。 在此之后，每個可見點都有相機的深度和計算出的重量。 這個重量決定了這些點在其相應的像素中有多大的貢獻。 這些點的權重是使用splatting [16]來計算的，這是一種將點映射到周圍像素的方法。 使用高斯函數來計算權重

其中dist是像素與點位置之間的距離。

?

?第三步?Mean Shift Clustering （均值漂移聚類）

?接下來的問題是計算像素的深度和RGB值。 因為它可能不止一個像素點，我們必須計算每個點對像素深度和RGB值的貢獻量。 這是通過使用均值漂移聚類算法來解決的，該算法根據點的密度計算深度和RGB的加權平均值。具體不再解釋

算法偽碼

?

?

?

顯示RGB，深度圖像和兩個標簽圖像bildstein3點云的不同姿勢。

?

下一步是語義分割點云的投影RGB圖像。 圖像的語義分割由預先訓練的CNN執行。 在本論文中，兩個不同的CNN被用于該任務。 這是因為我們想比較不同的CNN如何影響我們方法的結果。 使用的CNN之一是Laplacian金字塔重建網絡[4]，該網絡執行像素明智的標記，并在Cityscapes數據集上進行訓練[12]。 Cityscapes數據集包含從50個不同城市收集的街道場景序列，具有高質量的像素級注釋。 該數據集包含19個語義類，屬于地面，建筑，物體，自然，天空，人體和車輛7種不同類別。

?

?

[1] Leo Breiman. Random forests. Mach. Learn., 45(1), 2001. Cited on page 7.

[2] Martin Danelljan, Giulia Meneghetti, Fahad Shahbaz Khan, and Michael?Felsberg. Aligning the Dissimilar : A Probabilistic Method for FeatureBased Point Set Registration. ICPR16, 2016. Cited on page 3.

[3] ETH Zurich. Large-Scale Point Cloud Classification Benchmark. URL?http://www.semantic3d.net/. Cited on pages 4, 23, and 40.

[4] Golnaz Ghiasi and Charless C. Fowlkes. Laplacian reconstruction and refinement for semantic segmentation. ECCV, 2016. Cited on pages 1, 6,?and 16.

[5] Timo Hackel, Jan D Wegner, and Konrad Schindler. Fast Semantic Segmentation of 3D Point Clouds with Strongly Varying Density. ISPRS16, 2016.?Cited on pages 7, 40, and 41.?

[6] Yangqing Jia, Evan Shelhamer, Jeff Donahue, Sergey Karayev, Jonathan Long,?Ross Girshick, Sergio Guadarrama, and Trevor Darrell. Caffe: Convolutional?architecture for fast feature embedding. arXiv:1408.5093, 2014. Cited on

page 21.

[7] Sagi Katz. Direct Visibility of Point Sets. ACM Trans. Graph., 26(3), 2007.?Cited on page 11.?

[8] Jan Knopp, Hayko Riemenschneider, and Luc Van Gool. 3D All The Way?Semantic Segmentation of Urban Scenes From Start to End in 3D. CVPR,?2015. Cited on pages 1 and 7.?

[9] Yann LeCun and Yoshua Bengio. The handbook of brain theory and neural?networks. chapter Convolutional Networks for Images, Speech, and Time?Series, pages 255–258. MIT Press, Cambridge, MA, USA, 1998. Cited on?page 5.

[10] Link?ping University. Virtual Photo Sets. URL http://www.hdrv.org/vps/. Cited on page 27.?

[11] Tianyi Liu, Shuangsang Fang, Yuehui Zhao, Peng Wang, and Jun Zhang. Implementation of Training Convolutional. arXiv:1506.01195, 2015. Cited on?pages 5 and 6.?

[12] Marius Cordts. Cityscapes Dataset. URL https://www.cityscapes-dataset.com/dataset-overview/. Cited on page?16.

[13] C V May. Fractional Max-Pooling. arXiv:1412.6071, 2015. Cited on page 5.?

[14] Peter Meer. Mean Shift : A Robust Approach toward Feature Space Analysis.?IEEE, 24(5), 2002. Cited on page 12.?

[15] Radu Bogdan Rusu and Steve Cousins. 3D is here: Point Cloud Library(PCL). ICRA, 2011. Cited on page 21.

[16] Richard Szeliski. Computer Vision : Algorithms and Applications. 2010.?URL http://szeliski.org/Book. Cited on page 12.

[17] Martin Thoma. A Survey of Semantic Segmentation. arXiv:1602.06541,2016. Cited on page 6.

[18] Andrea Vedaldi and C V May. MatConvNet Convolutional Neural Networks?for MATLAB. arXiv:1412.4564. Cited on page 21.

[19] Daniel Wolf, Johann Prankl, and Markus Vincze. Fast Semantic Segmentation of 3D Point Clouds using a Dense CRF with Learned Parameters. ICRA,?2015. Cited on pages 1 and 7.

[20] Shuai Zheng, Sadeep Jayasumana, Bernardino Romera-Paredes, Vibhav Vineet, Zhizhong Su, Dalong Du, Chang Huang, and Philip Torr. Conditional?Random Fields as Recurrent Neural Networks. ICCV, 2015. Cited on pages

1 and 6.

[21] Bolei Zhou, Hang Zhao, Xavier Puig, Sanja Fidler, Adela Barriuso, and Antonio Torralba. Semantic Understanding of Scenes through the ADE20K?Dataset. arXiv:1608.05442, 2016. Cited on pages 1, 6, and 16.?

?

?關注微信公眾號，加入群聊

總結

以上是生活随笔為你收集整理的利用深度学习的点云语义分割（一）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。