三维点云分割综述
點云PCL免費知識星球，點云論文速讀。
標(biāo)題：三維點云分割綜述（上）
排版：particle
歡迎各位加入免費知識星球，獲取PDF文檔，歡迎轉(zhuǎn)發(fā)朋友圈，分享快樂。
這是一篇綜述性論文，以下只做概述性介紹，介紹文章已共享在微信群和免費知識星球中，文章在公眾號將分成三個部分:
第一部分介紹點云的獲取以及各種傳感器獲取點云的特性，以及分割概念的區(qū)別。
三維點云分割綜述（上）
第二部分介紹基于點云的傳統(tǒng)的分割方法。
三維點云分割綜述（中）
第三部分介紹基于深度學(xué)習(xí)的語義分割方法。
三維點云分割綜述（下）
摘要
三維點云的語義分割3D Point Cloud Semantic Segmentation (PCSS)在計算機(jī)視覺以及機(jī)器人領(lǐng)域廣泛的應(yīng)用，隨著深度學(xué)習(xí)技術(shù)的發(fā)展在點云的語義分割領(lǐng)域提供了新的可能性，并受到越來越多的關(guān)注，本文將著重的介紹這一主題的相關(guān)研究，首先從遙感領(lǐng)域和計算機(jī)視覺的角度概述三維點云的分割，并且結(jié)合已經(jīng)發(fā)表的PCSS相關(guān)的文章作為研究基礎(chǔ)，進(jìn)行總結(jié)和比較，并且對傳統(tǒng)的以及最新的點云分割技術(shù)進(jìn)行回顧和比較，最后討論了PCSS研究中重要的問題和有待解決的問題。
分割、分類和語義分割概念區(qū)分
點云語義分割是具有很長的研究歷史，這里將點云分割，分類，以及語義分割做一個簡短的概念區(qū)別，點云語義分割在計算機(jī)視覺領(lǐng)域中是廣泛的使用，尤其是在深度學(xué)習(xí)的應(yīng)用中。在遙感領(lǐng)域PCSS通常被稱之為“點云分類”，在某些情況下，也可以理解為“點云標(biāo)記”，在本文中是指點云的每個點與語義的標(biāo)簽關(guān)聯(lián)起來的任務(wù)稱為PCSS。
在基于監(jiān)督學(xué)習(xí)的方法中廣泛的使用在語義分割領(lǐng)域之前，對2.5D/3D的點云數(shù)據(jù)的非監(jiān)督分割是指在不考慮語義信息的情況下，對具有相似的幾何或者光譜特征的點云進(jìn)行分類，所以在PCSS中，PCS（點云分割）可以作為一個預(yù)分割的步驟，并且影響著最終的語義結(jié)果。所以本文也包含了關(guān)于PCS方法的討論。這部分內(nèi)容將再在接下來的文章中發(fā)布。
我們知道單個的物體的結(jié)構(gòu)不能直接通過一幀的原始點云獲取，比如城市規(guī)劃和建筑信息建模（BIM）需要參考建筑物或者人造物，森林的遙感監(jiān)測需要基于樹木的幾何結(jié)構(gòu)信息，機(jī)器人的應(yīng)用如同時構(gòu)建地圖與定位（SLAM）需要室內(nèi)環(huán)境來繪制地圖，在自動駕駛，目標(biāo)檢測，分割與分類是構(gòu)建高精地圖所必須的，所以點云的分割以及語義分割是3D視覺領(lǐng)域基本且關(guān)鍵的任務(wù)。
點云的獲取
在計算機(jī)視覺和遙感領(lǐng)域，點云可以通過四種主要的技術(shù)獲得，
（1）根據(jù)圖像衍生而得，比如通過雙目相機(jī)，
（2）基于光探測距離和測距系統(tǒng)比如lidar,
（3）基于RGBD相機(jī)獲取點云
（4）Synthetic Aperture Radar (SAR)系統(tǒng)獲取，基于這些不同的原理系統(tǒng)獲取的點云數(shù)據(jù)，其數(shù)據(jù)的特征和應(yīng)用的范圍也是多種多樣。下面將要介紹這些技術(shù)。
圖像衍生點云
概括起來就是通過雙目采集的圖像，根據(jù)攝影測量學(xué)或者計算機(jī)視覺理論原理，自動或者半自動的計算出三維的點云信息，根據(jù)不同的平臺，立體和多視角的圖像衍生系統(tǒng)可以分為機(jī)載，衛(wèi)星，以及無人機(jī)等。傳統(tǒng)的攝影測量計算中采用半自動人機(jī)交互方式生成三維點，具有嚴(yán)格的幾何約束和較高的測量精度。由于許多人工操作，生成這種類型的點數(shù)據(jù)非常耗時。因此，用這種方法生成大面積密集點是不可行的。在測量和遙感行業(yè)中，這些早期形成的“點云”被用于繪制和生成數(shù)字地表模型（DSM）和數(shù)字高程模型（DEM）。由于圖像分辨率的限制和多視點圖像處理能力的限制，傳統(tǒng)的攝影測量只能從航空/衛(wèi)星平臺獲取接近最低點的視圖，建筑立面很少，只能生成2.5D的點云，而不是全三維點云，攝影測量原理也可以應(yīng)用于近景攝影測量，以便從某些物體或小區(qū)域場景中獲取點云，但在點云生成過程中也需要手動編輯。
稠密匹配法、多視角立體視覺（MVS）和運動恢復(fù)結(jié)構(gòu)（SfM）改變了圖像衍生的點云，開啟了多視角立體視覺的時代。SfM可以自動估計相機(jī)的位置和方向，使其能夠同時處理多視圖圖像，而稠密匹配法和MVS算法提供了生成大量點云的能力。近年來，基于SfM和MVS的攝影技術(shù)可以很容易地獲得城市尺度的全三維密集點云。然而，SfM和MVS的點云質(zhì)量不如傳統(tǒng)攝影測量或LiDAR技術(shù)生成的點云質(zhì)量好，對于大區(qū)域尤其不可靠。
在空間分辨率方面，衛(wèi)星攝影測量的空間分辨率較低。然而，衛(wèi)星相機(jī)能夠在短時間內(nèi)以相對較低的成本繪制大區(qū)域的地圖。此外，由于新的稠密匹配技術(shù)及其空間分辨率的提高，衛(wèi)星圖像正成為圖像衍生點云的重要數(shù)據(jù)源。
雷達(dá)生成點云
激光雷達(dá)（LiDAR）是一種測量和遙感技術(shù)。顧名思義，激光雷達(dá)利用激光測量傳感器和被測物體之間的距離。大多數(shù)激光雷達(dá)系統(tǒng)都是基于脈沖的。基于脈沖的測量的基本原理是發(fā)射激光脈沖，然后測量該激光到達(dá)目標(biāo)物體所需的時間。根據(jù)傳感器和平臺的不同，從每平方米不到10個點到每平方米數(shù)千個點，點云密度或分辨率差異很大。根據(jù)平臺的不同，將激光雷達(dá)系統(tǒng)分為機(jī)載激光雷達(dá)掃描（ALS）、地面激光雷達(dá)掃描（TLS）、移動式激光雷達(dá)掃描（MLS）和無人激光雷達(dá)掃描（ULS）系統(tǒng)。
機(jī)載激光雷達(dá)掃描ALS在機(jī)載平臺上運行。早期的ALS-LiDAR數(shù)據(jù)是2.5D點云，與傳統(tǒng)的攝影測量點云相似。由于機(jī)載平臺到地面的距離很大，所以ALS點的密度通常較低。與傳統(tǒng)的攝影測量相比，ALS點云的獲取成本更高，而且通常不包含光譜信息。Vaihingen點云語義標(biāo)注數(shù)據(jù)集是典型的ALS基準(zhǔn)數(shù)據(jù)集。多光譜機(jī)載激光雷達(dá)是ALS系統(tǒng)的一種特殊形式，它利用不同的波長獲取數(shù)據(jù)。多光譜激光雷達(dá)在提取水、植被和陰影方面表現(xiàn)良好，但數(shù)據(jù)不易獲得。
TLS，也稱為靜態(tài)激光雷達(dá)掃描，使用安裝在三腳架上的固定傳感器進(jìn)行掃描。由于它用于中、近距離環(huán)境，點云密度非常高。它的優(yōu)勢是能夠提供真實、高質(zhì)量的三維模型。到目前為止，TLS通常用于小型城市或森林的建模，以及遺產(chǎn)或藝術(shù)品文檔。
MLS在地面上的移動車輛上運行，最常見的平臺是汽車。目前，自主駕駛的研究與開發(fā)是一個熱門話題，高清地圖是必不可少的。因此，高清地圖的生成是MLS最重要的應(yīng)用。多個主流點云基準(zhǔn)數(shù)據(jù)集屬于MLS。
ULS系統(tǒng)通常部署在無人機(jī)或其他無人飛行器上。由于它們相對便宜，而且非常靈活，這種最近加入到LiDAR家族中的產(chǎn)品目前正變得越來越受歡迎。與平臺在物體上方工作的ALS相比，ULS可以提供較短距離的激光雷達(dá)測量應(yīng)用，以更高的精度收集更密集的點云。由于其平臺體積小、重量輕，ULS具有很高的操作靈活性。因此，除了傳統(tǒng)的激光雷達(dá)任務(wù)（例如，獲取DSM），ULS在農(nóng)林測量、災(zāi)害監(jiān)測和采礦測量方面具有優(yōu)勢。
在激光雷達(dá)掃描中，由于系統(tǒng)始終隨平臺運動，需要將點云的位置與全球?qū)Ш叫l(wèi)星系統(tǒng)（GNSS）和慣性測量單元（IMU）數(shù)據(jù)相結(jié)合，以保證高質(zhì)量的點云匹配。迄今為止，激光雷達(dá)一直是點云研究中最重要的數(shù)據(jù)源，并被用來提供地面真實情況來評估其他點云的質(zhì)量。
RGB-D?點云
RGB-D相機(jī)是一種可以同時獲取RGB和深度信息的傳感器。有三種基于不同原理的RGB-D傳感器：
（a）結(jié)構(gòu)光；
（b）立體；
（c）飛行時間。
與LiDAR類似，RGB-D相機(jī)可以測量相機(jī)到物體之間的距離，但是像素級的。然而，RGB-D傳感器比激光雷達(dá)系統(tǒng)便宜得多。微軟的Kinect是最知名和使用最多的RGB-D傳感器。在RGB-D相機(jī)中，不同傳感器之間或傳感器之間的相對方位元素被標(biāo)定并已知，因此可以很容易地獲得共配準(zhǔn)的同步RGB圖像和深度圖。顯然，點云并不是RGB-D掃描的直接產(chǎn)物。但是由于攝像機(jī)中心點的位置是已知的，因此可以很容易地獲得深度圖中每個像素的三維空間位置，然后直接用于生成點云。RGB-D相機(jī)有三個主要應(yīng)用：目標(biāo)跟蹤、人體姿勢或特征識別以及基于SLAM的環(huán)境重建。由于主流的RGB-D傳感器距離較近，甚至比TLS近得多，因此通常用于室內(nèi)環(huán)境。幾種主流的室內(nèi)點云分割基準(zhǔn)是RGB-D數(shù)據(jù)。
SAR點云
干涉合成孔徑雷達(dá)（InSAR）是一種對遙感至關(guān)重要的雷達(dá)技術(shù)，它根據(jù)多個SAR圖像對的比較生成地表變形或數(shù)字高程圖。（這里不做過多介紹）
點云特性
從傳感器發(fā)展和各種應(yīng)用的角度出發(fā)，我們將點云分類為：
（a）稀疏（<20pts/m^2）
早期由于受匹配技術(shù)和計算能力的限制，攝影測量點云稀疏且體積小。當(dāng)時，激光掃描系統(tǒng)的類型有限，并沒有得到廣泛的應(yīng)用。ALS激光點云數(shù)據(jù)，也是稀疏的。由于受點云密度的限制，該階段的點云無法覆蓋目標(biāo)的表面。因此，對精確的PCS或PPCS沒有具體的需求。研究者主要集中在三維制圖（DEM生成）和簡單的目標(biāo)提取上
（b）密集（數(shù)百pts/m2）
由于稠密匹配等計算機(jī)視覺算法，以及各種激光雷達(dá)系統(tǒng)和RGB-D傳感器等高質(zhì)量點云獲取傳感器的發(fā)展，開啟了稠密點云的大數(shù)據(jù)時代。稠密的大規(guī)模點云為三維應(yīng)用創(chuàng)造了更多的可能性，但同時也對實用算法有了更強(qiáng)烈的需求。因此PCS和PPCS是最新提出且必要的算法。計算機(jī)視覺和遙感都需要PCS和PCSS解決方案來開發(fā)類級別的交互式應(yīng)用程序。
（c）多源。
從一般計算機(jī)視覺的角度來看，對點云及其相關(guān)算法的研究還停留在（b）階段。然而，由于有利于星載平臺和多傳感器的發(fā)展，遙感研究人員對點云有了新的認(rèn)識。新一代點云，如衛(wèi)星攝影測量點云和TomoSAR點云，刺激了相關(guān)算法的需求。多源數(shù)據(jù)融合已成為遙感領(lǐng)域的一個發(fā)展趨勢，但現(xiàn)有的計算機(jī)視覺算法對這類遙感數(shù)據(jù)集還不夠。為了充分利用多源點云數(shù)據(jù)，需要進(jìn)行更多的研究。
如前所述，不同的點云具有不同的特性和應(yīng)用環(huán)境。表一概述了各種點云的基本信息，包括點密度、優(yōu)缺點和應(yīng)用。
點云應(yīng)用
從表二可以總結(jié)出幾個問題：
（a） 激光雷達(dá)點云是個人計算機(jī)中最常用的數(shù)據(jù)，已廣泛應(yīng)用于建筑物（城市環(huán)境）和樹木（森林）。建筑物也是傳統(tǒng)計算機(jī)中最受歡迎的研究對象，由于建筑物通常是由規(guī)則的平面構(gòu)成的，因此平面分割是建筑物分割的一個基本課題。
（b） 圖像衍生的點云經(jīng)常用于真實場景。然而，主要由于現(xiàn)有的標(biāo)注的局限性，基于圖像數(shù)據(jù)的PCS和PCSS研究并不多見。目前，只有一個基于圖像衍生點的公共有影響力的數(shù)據(jù)集，其范圍僅為單個建筑物周圍的很小的區(qū)域。因此，需要在這方面作出更多努力。
（c） RGB-D傳感器受其近距離的限制，通常應(yīng)用于室內(nèi)環(huán)境。在PCS研究中，平面分割是RGB-D數(shù)據(jù)的主要任務(wù)。在PCSS研究中，由于RGB-D傳感器有多個基準(zhǔn)數(shù)據(jù)集，許多基于深度學(xué)習(xí)的方法都在這些數(shù)據(jù)集上進(jìn)行了測試。
（d） 對于InSAR點云，雖然沒有太多的PCS或PCSS研究，但它們在城市監(jiān)測，特別是建筑物結(jié)構(gòu)分割方面顯示出了潛力。
以上是該綜述文章的上篇章，由于篇幅文章內(nèi)容有所刪減，后期將更新文章的中篇章和下篇章，如有興趣，可加入知識星球下載原文進(jìn)行學(xué)習(xí)。
資源
三維點云論文及相關(guān)應(yīng)用分享
【點云論文速讀】基于激光雷達(dá)的里程計及3D點云地圖中的定位方法
3D目標(biāo)檢測：MV3D-Net
三維點云分割綜述（上）
3D-MiniNet: 從點云中學(xué)習(xí)2D表示以實現(xiàn)快速有效的3D LIDAR語義分割（2020）
win下使用QT添加VTK插件實現(xiàn)點云可視化GUI
JSNet：3D點云的聯(lián)合實例和語義分割
大場景三維點云的語義分割綜述
PCL中outofcore模塊---基于核外八叉樹的大規(guī)模點云的顯示
基于局部凹凸性進(jìn)行目標(biāo)分割
基于三維卷積神經(jīng)網(wǎng)絡(luò)的點云標(biāo)記
點云的超體素(SuperVoxel)
基于超點圖的大規(guī)模點云分割
更多文章可查看：點云學(xué)習(xí)歷史文章大匯總
SLAM及AR相關(guān)分享
【開源方案共享】ORB-SLAM3開源啦！
【論文速讀】AVP-SLAM：自動泊車系統(tǒng)中的語義SLAM
【點云論文速讀】StructSLAM:結(jié)構(gòu)化線特征SLAM
SLAM和AR綜述
常用的3D深度相機(jī)
AR設(shè)備單目視覺慣導(dǎo)SLAM算法綜述與評價
SLAM綜述(4)激光與視覺融合SLAM
Kimera實時重建的語義SLAM系統(tǒng)
SLAM綜述(3)-視覺與慣導(dǎo)，視覺與深度學(xué)習(xí)SLAM
易擴(kuò)展的SLAM框架-OpenVSLAM
高翔：非結(jié)構(gòu)化道路激光SLAM中的挑戰(zhàn)
SLAM綜述之Lidar SLAM
基于魚眼相機(jī)的SLAM方法介紹
往期線上分享錄播匯總
第一期B站錄播之三維模型檢索技術(shù)
第二期B站錄播之深度學(xué)習(xí)在3D場景中的應(yīng)用
第三期B站錄播之CMake進(jìn)階學(xué)習(xí)
第四期B站錄播之點云物體及六自由度姿態(tài)估計
第五期B站錄播之點云深度學(xué)習(xí)語義分割拓展
第六期B站錄播之Pointnetlk解讀
[線上分享錄播]點云配準(zhǔn)概述及其在激光SLAM中的應(yīng)用
[線上分享錄播]cloudcompare插件開發(fā)
[線上分享錄播]基于點云數(shù)據(jù)的?Mesh重建與處理
[線上分享錄播]機(jī)器人力反饋遙操作技術(shù)及機(jī)器人視覺分享
[線上分享錄播]地面點云配準(zhǔn)與機(jī)載點云航帶平差
點云PCL更多活動請查看：點云PCL活動之應(yīng)屆生校招群
掃描下方微信視頻號二維碼可查看最新研究成果及相關(guān)開源方案的演示：
如果你對本文感興趣，點擊“原文閱讀”獲取知識星球二維碼，務(wù)必按照“姓名+學(xué)校/公司+研究方向”備注加入免費知識星球，星球可自由發(fā)言交流和分享。也可免費下載公眾號分享的論文pdf文檔，和更多熱愛分享的小伙伴一起交流吧！
歡迎各位轉(zhuǎn)發(fā)分享朋友圈，將公眾號設(shè)置為星標(biāo)，或點擊“在看”以示鼓勵和支持，讓我們繼續(xù)分享！
以上內(nèi)容如有錯誤請留言評論，歡迎指正交流。如有侵權(quán)，請聯(lián)系刪除
掃描二維碼
? ? ? ? ? ? ? ? ? ?關(guān)注我們
讓我們一起分享一起學(xué)習(xí)吧！期待有想法，樂于分享的小伙伴加入免費星球注入愛分享的新鮮活力。分享的主題包含但不限于三維視覺，點云，高精地圖，自動駕駛，以及機(jī)器人等相關(guān)的領(lǐng)域。
分享及合作方式：可聯(lián)系微信“920177957”（需要按要求備注）聯(lián)系郵箱：dianyunpcl@163.com，歡迎企業(yè)來聯(lián)系公眾號展開合作。
點一下“在看”你會更好看耶
總結(jié)
- 上一篇： Easy3D：一个轻量级、易用、高效的C
- 下一篇： 机器阅读理解（MRC）零基础入门级综述（