2021最新关于点云配准的全面综述
目錄
基本情況
摘要
介紹
本文的貢獻(xiàn)
點(diǎn)云配準(zhǔn)的挑戰(zhàn)
A?同源點(diǎn)云配準(zhǔn)
B?跨源點(diǎn)云配準(zhǔn)
點(diǎn)云配準(zhǔn)方法的分類
A?基于優(yōu)化的配準(zhǔn)方法
B?特征學(xué)習(xí)的配準(zhǔn)方法
C?基于端到端學(xué)習(xí)的方法
D?跨源點(diǎn)云配準(zhǔn)方法
點(diǎn)云配準(zhǔn)方法概述介紹
A?基于優(yōu)化的配準(zhǔn)方法
B?特征學(xué)習(xí)配準(zhǔn)方法
C?基于端到端學(xué)習(xí)的配準(zhǔn)
D?跨源點(diǎn)云配準(zhǔn)
基于優(yōu)化的方法與深度學(xué)習(xí)之間的聯(lián)系
應(yīng)用
A、 建筑信息模型（building information modeling，簡(jiǎn)稱BIM）
B、 在礦區(qū)的開采空間
C、三維傳感器在自主駕駛中
總結(jié)
基本情況
標(biāo)題：A comprehensive survey on point cloud registration
作者：Xiaoshui Huang[1], Guofeng Mei[2], Jian Zhang[2], Rana Abbas[1]
編譯：點(diǎn)云PCL
來(lái)源：arXiv 2021
摘要
點(diǎn)云配準(zhǔn)是點(diǎn)云之間的變換估計(jì)問(wèn)題，從優(yōu)化的角度來(lái)看，它經(jīng)歷了很長(zhǎng)的發(fā)展歷史。最近，深度學(xué)習(xí)的成功極大地提高了配準(zhǔn)的魯棒性和效率。本綜述試圖對(duì)基于優(yōu)化的學(xué)習(xí)方法與深度學(xué)習(xí)方法進(jìn)行全面的回顧，并建立兩者之間的聯(lián)系，以提供進(jìn)一步的研究啟示。此外，隨著三維傳感器和三維重建技術(shù)的發(fā)展，一個(gè)新的研究方向也應(yīng)運(yùn)而生。本文回顧了跨源點(diǎn)云配準(zhǔn)的發(fā)展，并建立了一個(gè)新的基準(zhǔn)來(lái)評(píng)價(jià)現(xiàn)有的配準(zhǔn)算法。此外，本調(diào)查總結(jié)了基準(zhǔn)數(shù)據(jù)集，并討論了跨不同領(lǐng)域的點(diǎn)云配準(zhǔn)的應(yīng)用。最后，本文提出了這一快速發(fā)展領(lǐng)域的潛在研究方向。
介紹
隨著LiDAR、Kinect等高精度傳感器的快速發(fā)展，點(diǎn)云已成為表征三維世界的主要數(shù)據(jù)格式。由于傳感器只能在有限的視野范圍內(nèi)掃描獲取數(shù)據(jù)，因此需要采用配準(zhǔn)算法生成完整的三維場(chǎng)景。點(diǎn)云配準(zhǔn)是一種估計(jì)兩幀掃描點(diǎn)云之間變換矩陣的問(wèn)題。根據(jù)變換矩陣，我們可以將同一個(gè)三維場(chǎng)景或物體的部分掃描點(diǎn)云合并成一個(gè)完整的三維點(diǎn)云。
點(diǎn)云配準(zhǔn)的價(jià)值在于它在眾多計(jì)算機(jī)視覺(jué)應(yīng)用中的獨(dú)特而關(guān)鍵的作用。
首先，三維重建。生成完整的三維場(chǎng)景是各種計(jì)算機(jī)視覺(jué)應(yīng)用的基礎(chǔ)和重要技術(shù)，包括自動(dòng)駕駛中的高精度三維地圖重建、機(jī)器人技術(shù)中的三維環(huán)境重建和實(shí)時(shí)監(jiān)控地下采礦的三維重建。例如，點(diǎn)云配準(zhǔn)可以為機(jī)器人應(yīng)用中的路線規(guī)劃和決策構(gòu)建三維環(huán)境。另一個(gè)例子是在地下采礦空間進(jìn)行大型三維場(chǎng)景重建，以準(zhǔn)確監(jiān)控采礦安全。
第二，三維定位。在三維環(huán)境中定位移動(dòng)智能設(shè)備的位置對(duì)于機(jī)器人技術(shù)尤為重要。例如，無(wú)人駕駛汽車估計(jì)其在地圖上的位置（例如<10cm）及其到道路邊界線的距離。點(diǎn)云配準(zhǔn)可以將當(dāng)前的實(shí)時(shí)三維點(diǎn)云精確匹配到所屬的三維環(huán)境中，提供高精度的定位服務(wù)。此應(yīng)用程序表明，配準(zhǔn)為智能系統(tǒng)（例如機(jī)器人或無(wú)駕駛汽車）提供了一個(gè)與3D環(huán)境交互的解決方案。
第三，姿態(tài)估計(jì)。將一個(gè)點(diǎn)云A（3D實(shí)時(shí)視圖）與另一個(gè)點(diǎn)云B（3D環(huán)境）對(duì)齊，可以生成與點(diǎn)云B相對(duì)的點(diǎn)云A的姿態(tài)信息，這些姿態(tài)信息可用于機(jī)器人的決策。例如，可以獲得機(jī)器人手臂的姿勢(shì)信息，從而決定移動(dòng)到哪里以準(zhǔn)確地抓取對(duì)象。姿態(tài)估計(jì)應(yīng)用表明，該配準(zhǔn)方法還提供了一種了解環(huán)境中agent信息的方法。由于點(diǎn)云配準(zhǔn)在許多有價(jià)值的計(jì)算機(jī)視覺(jué)應(yīng)用中扮演著重要的角色，因此迫切需要對(duì)點(diǎn)云配準(zhǔn)進(jìn)行全面的研究，以使這些應(yīng)用受益。
從優(yōu)化的角度對(duì)配準(zhǔn)問(wèn)題進(jìn)行了深入的研究[5]、[6]、[24]、[33]、[44]、[47]、[54]、[90]、[104]。現(xiàn)有的配準(zhǔn)方法大多是通過(guò)對(duì)應(yīng)搜索和變換估計(jì)兩個(gè)過(guò)程來(lái)減小幾何投影誤差。這兩個(gè)過(guò)程交替進(jìn)行，直到幾何重投影誤差最小。在已知精確對(duì)應(yīng)的情況下，變換估計(jì)有一個(gè)閉環(huán)形式的解[6]。近年來(lái)，三維點(diǎn)云深度學(xué)習(xí)技術(shù)有了很大的發(fā)展[114]、[20]、[17]、[107]、[96]。這些技術(shù)的目的是提取三維點(diǎn)云的特征并找到精確的對(duì)應(yīng)關(guān)系。然后，使用這些對(duì)應(yīng)關(guān)系來(lái)估計(jì)具有單獨(dú)變換估計(jì)階段的變換。在端到端的框架中，還結(jié)合了傳統(tǒng)的配準(zhǔn)優(yōu)化策略和深度學(xué)習(xí)技術(shù)[40]、[16]、[3]、[99]。這些實(shí)驗(yàn)結(jié)果對(duì)點(diǎn)云配準(zhǔn)具有較好的效果，在這些組合中表現(xiàn)更好的原因尚未總結(jié)。
此外，隨著三維傳感器（如Kinect和Lidar）的發(fā)展，跨源點(diǎn)云配準(zhǔn)成為一個(gè)新興的研究課題。每種三維傳感器都有其獨(dú)特的優(yōu)點(diǎn)和局限性。例如，Kinect可以生成密集的點(diǎn)云，而測(cè)量范圍通常限制為5米。激光雷達(dá)在生成稀疏點(diǎn)云的同時(shí)具有很長(zhǎng)的視距。這些不同類型的三維傳感器的數(shù)據(jù)融合結(jié)合了它們的優(yōu)點(diǎn)，這是一個(gè)跨源點(diǎn)云配準(zhǔn)問(wèn)題[43]、[41]、[42]。跨源點(diǎn)云配準(zhǔn)在建筑施工、虛擬增強(qiáng)現(xiàn)實(shí)、無(wú)人駕駛車輛等領(lǐng)域有著廣泛的應(yīng)用。例如，建筑領(lǐng)域?qū)?D CAD模型與實(shí)時(shí)激光雷達(dá)掃描進(jìn)行比較，以評(píng)估當(dāng)前的施工質(zhì)量。同源點(diǎn)云配準(zhǔn)和跨源點(diǎn)云配準(zhǔn)的發(fā)展也需要一個(gè)全面的綜述來(lái)總結(jié)最近的進(jìn)展。
雖然目前對(duì)點(diǎn)云配準(zhǔn)的研究較少[15]、[78]、[87]，且主要集中在傳統(tǒng)點(diǎn)云配準(zhǔn)的觀點(diǎn)上。[116]調(diào)查深度學(xué)習(xí)技術(shù)。然而，跨源點(diǎn)云配準(zhǔn)的最新發(fā)展還沒(méi)有被綜述，傳統(tǒng)的深度學(xué)習(xí)方法和現(xiàn)代深度學(xué)習(xí)方法之間的聯(lián)系也沒(méi)有被分析。為了促進(jìn)點(diǎn)云配準(zhǔn)技術(shù)在工業(yè)界和學(xué)術(shù)界的發(fā)展，本文對(duì)點(diǎn)云配準(zhǔn)技術(shù)（1992-2021年）的發(fā)展進(jìn)行了全面的綜述，包括同源和跨源、傳統(tǒng)的優(yōu)化方法和現(xiàn)有的深度學(xué)習(xí)方法。此外，我們還總結(jié)了優(yōu)化策略和深度學(xué)習(xí)技術(shù)之間的聯(lián)系。此外，近年來(lái)基于深度學(xué)習(xí)的配準(zhǔn)技術(shù)在同源點(diǎn)云數(shù)據(jù)庫(kù)上取得了很高的配準(zhǔn)精度，而跨源點(diǎn)云的配準(zhǔn)性能卻鮮有報(bào)道。這項(xiàng)調(diào)查將建立一個(gè)基準(zhǔn)，以評(píng)估最新的最先進(jìn)的配準(zhǔn)算法上的跨源數(shù)據(jù)集。
本文的貢獻(xiàn)
我們的貢獻(xiàn)。本文的主要貢獻(xiàn)如下：
-
綜述。本文對(duì)同源點(diǎn)云配準(zhǔn)進(jìn)行了最全面的概述，包括傳統(tǒng)的優(yōu)化方法和現(xiàn)代深度學(xué)習(xí)方法（1992-2021）。我們總結(jié)了這些挑戰(zhàn)，分析了每一類配準(zhǔn)方法的優(yōu)點(diǎn)和局限性。此外，本文還總結(jié)了傳統(tǒng)優(yōu)化方法與現(xiàn)代深度學(xué)習(xí)方法的聯(lián)系。
-
不同源點(diǎn)云配準(zhǔn)。本文首次對(duì)跨源點(diǎn)云配準(zhǔn)進(jìn)行了文獻(xiàn)綜述。這項(xiàng)調(diào)查為不同3D傳感器（如Kinect和Lidar）的數(shù)據(jù)融合研究提供了見解。圖1顯示了點(diǎn)云配準(zhǔn)的分類。
-
新的比較。我們建立了一個(gè)新的跨源點(diǎn)云基準(zhǔn)。然后，在新的跨源點(diǎn)云基準(zhǔn)上對(duì)現(xiàn)有的最新配準(zhǔn)算法的性能進(jìn)行了評(píng)估和比較。這項(xiàng)調(diào)查可以為選擇和開發(fā)新的跨源點(diǎn)云應(yīng)用配準(zhǔn)方法提供指導(dǎo)。
-
應(yīng)用和未來(lái)方向。總結(jié)了點(diǎn)云配準(zhǔn)的潛在應(yīng)用，探討了實(shí)際應(yīng)用中的研究方向。此外，本文還提出了點(diǎn)云配準(zhǔn)領(lǐng)域未來(lái)可能的研究方向和有待解決的問(wèn)題。
圖1?點(diǎn)云配準(zhǔn)分類
點(diǎn)云配準(zhǔn)的挑戰(zhàn)
A?同源點(diǎn)云配準(zhǔn)
同源點(diǎn)云的配準(zhǔn)是指從同一類型的傳感器，但在不同的時(shí)間或視角下獲取的點(diǎn)云在進(jìn)行配準(zhǔn)問(wèn)題中存在的挑戰(zhàn)，其主要包含了
-
噪聲和離群值。在不同的采集時(shí)間，環(huán)境和傳感器噪聲是不同的，采集到的點(diǎn)云在同一三維位置附近會(huì)包含噪聲和異常值。
-
部分重疊。由于視點(diǎn)和采集時(shí)間的不同，采集到的點(diǎn)云只是部分重疊。
B?跨源點(diǎn)云配準(zhǔn)
跨源點(diǎn)云配準(zhǔn)的挑戰(zhàn)，點(diǎn)云傳感器經(jīng)歷了快速發(fā)展。例如，Kinect已經(jīng)在許多領(lǐng)域得到了廣泛的應(yīng)用。激光雷達(dá)變得使用價(jià)格合理，并已集成到移動(dòng)電話（如iPhone 12）中。而且，多年來(lái)三維重建技術(shù)的發(fā)展使得利用RGB相機(jī)生成點(diǎn)云成為可能。盡管在點(diǎn)云采集方面有這些改進(jìn)，但每個(gè)傳感器都有其獨(dú)特的優(yōu)點(diǎn)和局限性。例如，Kinect可以記錄詳細(xì)的結(jié)構(gòu)信息，但視距有限；Lidar可以記錄遠(yuǎn)處的物體，但分辨率有限。許多證據(jù)[77]，[41]表明，來(lái)自不同傳感器的融合點(diǎn)云可為實(shí)際應(yīng)用提供更多的信息和更好的性能。點(diǎn)云融合需要跨源點(diǎn)云配準(zhǔn)技術(shù)。由于點(diǎn)云是從不同類型的傳感器獲取的，并且不同類型的傳感器包含不同的成像機(jī)制，因此點(diǎn)云配準(zhǔn)問(wèn)題中的跨源挑戰(zhàn)要比同源點(diǎn)云配準(zhǔn)挑戰(zhàn)復(fù)雜得多。這些挑戰(zhàn)主要可以分為
-
噪聲和異常值。由于不同采集時(shí)間的采集環(huán)境、傳感器噪聲和傳感器成像機(jī)制不同，采集到的點(diǎn)云在同一個(gè)三維位置附近會(huì)包含噪聲和離群點(diǎn)。
-
部分重疊。由于視點(diǎn)和采集時(shí)間的不同，采集到的點(diǎn)云只是部分重疊。
-
密度差。由于不同的成像機(jī)制和不同的分辨率，捕獲的點(diǎn)云通常包含不同的密度。
-
尺度變化。由于不同的成像機(jī)制可能具有不同的物理度量，因此捕獲的點(diǎn)云可能包含尺度差異。
點(diǎn)云配準(zhǔn)方法的分類
本節(jié)介紹不同的點(diǎn)云配準(zhǔn)，如圖1所示。我們將點(diǎn)云配準(zhǔn)分為兩類：同源配準(zhǔn)和跨源配準(zhǔn)。同一源的配準(zhǔn)可以進(jìn)一步分為基于優(yōu)化的配準(zhǔn)方法、特征學(xué)習(xí)方法、端到端學(xué)習(xí)方法。圖2總結(jié)了這些類別的框架。
（a）一種基于優(yōu)化的點(diǎn)云配準(zhǔn)框架。給定兩個(gè)輸入點(diǎn)云，迭代估計(jì)這些點(diǎn)云之間的對(duì)應(yīng)關(guān)系和變換。算法輸出最優(yōu)變換T作為最終變換矩陣。
（b）基于特征學(xué)習(xí)的點(diǎn)云配準(zhǔn)框架。給定兩個(gè)輸入點(diǎn)云，利用深度神經(jīng)網(wǎng)絡(luò)對(duì)特征進(jìn)行估計(jì)。然后，對(duì)應(yīng)和變換估計(jì)迭代運(yùn)行以估計(jì)最終變換矩陣T。
（c）一個(gè)基于端到端學(xué)習(xí)的點(diǎn)云配準(zhǔn)框架。給定兩個(gè)輸入點(diǎn)云，使用端到端框架來(lái)估計(jì)最終變換矩陣T。
（d）一個(gè)跨源點(diǎn)云配準(zhǔn)框架。在給定兩個(gè)輸入點(diǎn)云的情況下，設(shè)計(jì)了一個(gè)配準(zhǔn)框架來(lái)克服跨源問(wèn)題并估計(jì)最終的變換矩陣T。
下面，我們將對(duì)每一類進(jìn)行簡(jiǎn)要介紹，并分析其優(yōu)點(diǎn)和局限性。
A?基于優(yōu)化的配準(zhǔn)方法
基于優(yōu)化的配準(zhǔn)是利用優(yōu)化策略估計(jì)變換矩陣。大多數(shù)基于優(yōu)化的配準(zhǔn)方法[104]、[54]、[78]、[15]包含兩個(gè)階段：對(duì)應(yīng)搜索和變換估計(jì)。圖（a）總結(jié)了這一類別的主要過(guò)程。對(duì)應(yīng)點(diǎn)搜索是在另一個(gè)點(diǎn)云中找到每個(gè)點(diǎn)的匹配點(diǎn)。變換估計(jì)就是利用對(duì)應(yīng)關(guān)系來(lái)估計(jì)變換矩陣。這兩個(gè)階段將進(jìn)行迭代，以找到最佳的變換。在迭代過(guò)程中，初始的對(duì)應(yīng)可能并不準(zhǔn)確。隨著不斷的迭代，對(duì)應(yīng)關(guān)系將變得越來(lái)越精確。然后，利用精確的對(duì)應(yīng)關(guān)系，使估計(jì)的變換矩陣變得精確。通過(guò)比較點(diǎn)的坐標(biāo)差或點(diǎn)點(diǎn)特征差，可以找到對(duì)應(yīng)關(guān)系。這一類的優(yōu)點(diǎn)有兩個(gè)：
1）嚴(yán)密的數(shù)學(xué)理論可以保證它們的收斂性。
2） 它們不需要訓(xùn)練數(shù)據(jù)，可以很好地推廣到未知場(chǎng)景。
這一類的局限性在于，需要許多復(fù)雜的策略來(lái)克服噪聲、異常值、密度變化和部分重疊的變化，這將增加計(jì)算成本。
B?特征學(xué)習(xí)的配準(zhǔn)方法
特征學(xué)習(xí)的配準(zhǔn)方法不同于經(jīng)典的基于優(yōu)化的配準(zhǔn)方法，特征學(xué)習(xí)方法[114]、[19]、[35]采用深度神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)魯棒的特征對(duì)應(yīng)搜索。然后，通過(guò)一步估計(jì)（例如RANSAC）而無(wú)需迭代地確定變換矩陣。圖（b）總結(jié)了這一類的主要過(guò)程。例如，[114]使用AlexNet從RGB-D數(shù)據(jù)集學(xué)習(xí)3D特征。[19] 提出了一種基于鄰域點(diǎn)分布的局部PPF特征，并將其輸入到網(wǎng)絡(luò)中進(jìn)行深度特征學(xué)習(xí)。[35]提出了一種旋轉(zhuǎn)不變的手工特征，并將其輸入深度神經(jīng)網(wǎng)絡(luò)進(jìn)行特征學(xué)習(xí)。所有這些方法都使用深度學(xué)習(xí)作為特征提取工具。通過(guò)開發(fā)復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)或損失函數(shù)，他們的目標(biāo)是通過(guò)學(xué)習(xí)具有區(qū)別性的特征點(diǎn)來(lái)估計(jì)健壯的對(duì)應(yīng)關(guān)系。
基于深度學(xué)習(xí)的點(diǎn)特征方法
1）可以提供魯棒、準(zhǔn)確的對(duì)應(yīng)搜索。
2） 通過(guò)簡(jiǎn)單的RANSAC方法，精確的對(duì)應(yīng)可以得到準(zhǔn)確的配準(zhǔn)結(jié)果。
這種方法的局限性有三個(gè)方面：
1）需要大量的訓(xùn)練數(shù)據(jù)。
2） 在未知場(chǎng)景中，如果場(chǎng)景與訓(xùn)練數(shù)據(jù)存在較大的分布差異，則配準(zhǔn)性能會(huì)急劇下降。
3） 他們使用一個(gè)單獨(dú)的訓(xùn)練過(guò)程來(lái)學(xué)習(xí)一個(gè)獨(dú)立的特征提取網(wǎng)絡(luò)。所學(xué)習(xí)的特征網(wǎng)絡(luò)是確定點(diǎn)匹配關(guān)系而不是配準(zhǔn)。
C?基于端到端學(xué)習(xí)的方法
利用端到端神經(jīng)網(wǎng)絡(luò)解決配準(zhǔn)問(wèn)題。該方案的輸入是兩幀點(diǎn)云，輸出是對(duì)齊這兩點(diǎn)云的變換矩陣。與上述以點(diǎn)特征學(xué)習(xí)為重點(diǎn)的特征學(xué)習(xí)方法不同，將變換估計(jì)嵌入到神經(jīng)網(wǎng)絡(luò)優(yōu)化中。神經(jīng)網(wǎng)絡(luò)優(yōu)化與變換估計(jì)是分離的。圖（c）總結(jié)了這一類的主要過(guò)程。端到端學(xué)習(xí)方法的基本思想是將配準(zhǔn)問(wèn)題轉(zhuǎn)化為回歸問(wèn)題。例如，[109]嘗試從要對(duì)齊的點(diǎn)云中學(xué)習(xí)特征，然后從特征中回歸轉(zhuǎn)換參數(shù)。[97]提出了一種配準(zhǔn)網(wǎng)絡(luò)，用于建立原始點(diǎn)集和目標(biāo)點(diǎn)集之間的相關(guān)性，并使用定義的相關(guān)性預(yù)測(cè)變換。[27]提出了一種用于定位的自動(dòng)編碼器配準(zhǔn)網(wǎng)絡(luò)，它結(jié)合了超點(diǎn)提取和無(wú)監(jiān)督特征學(xué)習(xí)。[64]提出了一種關(guān)鍵點(diǎn)檢測(cè)方法，并同時(shí)估計(jì)相對(duì)姿態(tài)。FMR[40]提出了一種特征度量配準(zhǔn)方法，將配準(zhǔn)問(wèn)題從以前的最小化點(diǎn)投影誤差轉(zhuǎn)化為最小化特征差。該方法將深度學(xué)習(xí)與傳統(tǒng)的Lucas-Kanade優(yōu)化方法相結(jié)合，是特征度量配準(zhǔn)的一項(xiàng)開創(chuàng)性工作。
這一類的優(yōu)點(diǎn)有兩個(gè)方面：
1）神經(jīng)網(wǎng)絡(luò)專門針對(duì)配準(zhǔn)任務(wù)進(jìn)行設(shè)計(jì)和優(yōu)化。
2） 它既可以利用傳統(tǒng)數(shù)學(xué)理論的優(yōu)點(diǎn)，又能利用深層神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)。
現(xiàn)有方法的局限性有兩個(gè)方面：
1）回歸方法將變換參數(shù)估計(jì)看作黑匣子，距離度量在基于坐標(biāo)的歐氏空間中進(jìn)行測(cè)量，該空間對(duì)噪聲和密度差敏感。
2） 特征度量配準(zhǔn)方法考慮了局部結(jié)構(gòu)信息，這對(duì)配準(zhǔn)非常重要。
D?跨源點(diǎn)云配準(zhǔn)方法
跨源點(diǎn)云配準(zhǔn)是對(duì)不同類型傳感器（如Kinect和Lidar）的點(diǎn)云進(jìn)行配準(zhǔn)。根據(jù)文獻(xiàn)[77]，[41]，跨源點(diǎn)云配準(zhǔn)由于噪聲和離群點(diǎn)、密度差、部分重疊和尺度差等因素的綜合作用而更具挑戰(zhàn)性。一些算法[42]、[41]、[43]、[39]使用復(fù)雜的優(yōu)化策略，通過(guò)克服跨源挑戰(zhàn)來(lái)解決跨源點(diǎn)云配準(zhǔn)問(wèn)題。例如，CSGM[41]將配準(zhǔn)問(wèn)題轉(zhuǎn)化為圖匹配問(wèn)題，并利用圖匹配理論來(lái)克服這些挑戰(zhàn)。最近，FMR[40]展示了使用深度學(xué)習(xí)對(duì)齊跨源點(diǎn)云的性能。這些方法都試圖利用優(yōu)化策略或深層次的神經(jīng)網(wǎng)絡(luò)來(lái)克服交叉源的挑戰(zhàn)來(lái)估計(jì)變換矩陣。跨源點(diǎn)云配準(zhǔn)的優(yōu)點(diǎn)是結(jié)合多個(gè)傳感器的優(yōu)點(diǎn)，為增強(qiáng)現(xiàn)實(shí)、建筑施工等計(jì)算機(jī)視覺(jué)任務(wù)提供全面的三維視覺(jué)信息。然而，現(xiàn)有的配準(zhǔn)方法存在精度低、時(shí)間復(fù)雜度高等缺陷，尚處于起步階段。近年來(lái)，隨著三維傳感器技術(shù)的快速發(fā)展，由于缺乏跨源點(diǎn)云配準(zhǔn)的研究，使得傳感器技術(shù)與跨源應(yīng)用之間存在一定的差距。
點(diǎn)云配準(zhǔn)方法概述介紹
A?基于優(yōu)化的配準(zhǔn)方法
基于優(yōu)化的方法的關(guān)鍵思想是開發(fā)一個(gè)復(fù)雜的優(yōu)化策略來(lái)實(shí)現(xiàn)方程1中非線性問(wèn)題的最優(yōu)解。由于同一來(lái)源挑戰(zhàn)的影響，這一非線性問(wèn)題變得具有挑戰(zhàn)性。圖（a）總結(jié)了這一類的主要過(guò)程。基于優(yōu)化策略，本節(jié)概述了四種優(yōu)化方法：基于ICP的變種方法、基于圖優(yōu)化的、基于GMM的和半定的配準(zhǔn)方法。（具體方法的介紹及相關(guān)文獻(xiàn)可查看原文）圖3中展示出了幾個(gè)里程碑方法。
圖3?按時(shí)間順序概述的基于優(yōu)化的相關(guān)方法
B?特征學(xué)習(xí)配準(zhǔn)方法
特征學(xué)習(xí)方法的主要思想是利用深度特征來(lái)估計(jì)準(zhǔn)確的對(duì)應(yīng)關(guān)系。然后，可以使用一步優(yōu)化（例如SVD或RANSAC）來(lái)估計(jì)變換，而無(wú)需在對(duì)應(yīng)估計(jì)和變換估計(jì)之間進(jìn)行迭代，如圖b所示。研究方向是設(shè)計(jì)先進(jìn)的神經(jīng)網(wǎng)絡(luò)來(lái)提取顯著特征。對(duì)于深度學(xué)習(xí)的數(shù)據(jù)格式，這些配準(zhǔn)方法分為基于體素?cái)?shù)據(jù)的配準(zhǔn)和基于點(diǎn)云的配準(zhǔn)。
3DMatch 總體框架，3DMatch從RGBD圖像訓(xùn)練并行網(wǎng)絡(luò)。3DMatch的輸入是三維體素?cái)?shù)據(jù)，輸出是一個(gè)局部面片的512維特征。3DMatch可以提取三維點(diǎn)云的局部特征。
PPFNet基于點(diǎn)云的配準(zhǔn)方法的總體框架
圖4中示出了幾個(gè)里程碑方法。
圖4 按時(shí)間順序概述的基于特征學(xué)習(xí)配準(zhǔn)方法。
C?基于端到端學(xué)習(xí)的配準(zhǔn)
端到端學(xué)習(xí)配準(zhǔn)方法的主要思想是將兩幀點(diǎn)云送入神經(jīng)網(wǎng)絡(luò)，輸出為這兩個(gè)點(diǎn)云之間的變換矩陣。有兩類：
（1）將配準(zhǔn)視為回歸問(wèn)題，并使用神經(jīng)網(wǎng)絡(luò)擬合回歸模型進(jìn)行變換矩陣估計(jì)[97]、[109]、[20]、[75]；
（2） 將神經(jīng)網(wǎng)絡(luò)與優(yōu)化相結(jié)合，將配準(zhǔn)視為一個(gè)端到端的框架[40]，[16]。
圖5中示出了幾個(gè)里程碑方法。
圖5 按時(shí)間順序概述的端到端學(xué)習(xí)的配準(zhǔn)方法。
D?跨源點(diǎn)云配準(zhǔn)
本節(jié)首次全面介紹了跨源點(diǎn)云配準(zhǔn)。現(xiàn)有的跨源配準(zhǔn)方法分為兩類：基于優(yōu)化的方法和基于學(xué)習(xí)的方法。研究方向是設(shè)計(jì)高級(jí)配準(zhǔn)框架以克服交叉源挑戰(zhàn)。圖6中示出了幾個(gè)里程碑方法。
圖6 按時(shí)間順序概述的跨源點(diǎn)云配準(zhǔn)方法
基于優(yōu)化的方法與深度學(xué)習(xí)之間的聯(lián)系
深度學(xué)習(xí)技術(shù)可以作為一種特征提取工具來(lái)代替原始點(diǎn)坐標(biāo)。傳統(tǒng)的優(yōu)化方法為算法的收斂性提供了理論保證。首先，提出了一種改進(jìn)的損失計(jì)算策略，利用優(yōu)化策略從學(xué)習(xí)到的特征中計(jì)算出一個(gè)估計(jì)的變換。其次，計(jì)算估計(jì)變換與地面真值之間的損失。許多現(xiàn)有的方法[99]，[40]證明，結(jié)合這兩種方法的優(yōu)點(diǎn)可以達(dá)到高精度和高效率。例如，deep-closest point（DCP）[99]使用deep特征來(lái)估計(jì)對(duì)應(yīng)關(guān)系，并使用SVD來(lái)計(jì)算變換。FMR[40]應(yīng)用深度學(xué)習(xí)來(lái)提取全局特征，并使用Lukas-Kanade（LK）算法來(lái)最小化特征差異。DeepGMR[112]使用深度學(xué)習(xí)來(lái)計(jì)算高斯模型和點(diǎn)之間的對(duì)應(yīng)關(guān)系，并基于GMM優(yōu)化來(lái)優(yōu)化變換。
這些現(xiàn)有的方法為解決配準(zhǔn)問(wèn)題提供了一些常規(guī)優(yōu)化和深度神經(jīng)網(wǎng)絡(luò)的初步嘗試。然而，無(wú)論是精度、魯棒性還是效率都有待進(jìn)一步提高。將傳統(tǒng)的優(yōu)化理論與現(xiàn)代的深度神經(jīng)網(wǎng)絡(luò)相結(jié)合，是一種提高配準(zhǔn)精度和效率的有效方法，從理論上保證了現(xiàn)有的基于深度學(xué)習(xí)的配準(zhǔn)方法。研究方向是結(jié)合現(xiàn)有的優(yōu)化策略，設(shè)計(jì)先進(jìn)的損失計(jì)算策略對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化。
評(píng)估
本節(jié)總結(jié)現(xiàn)有度量方法，并總結(jié)現(xiàn)有方法在現(xiàn)有同一源數(shù)據(jù)集上的性能。然后，介紹了一種新的跨源數(shù)據(jù)集，并對(duì)現(xiàn)有的配準(zhǔn)方法進(jìn)行了比較實(shí)驗(yàn)。
表1 現(xiàn)有同源和跨源數(shù)據(jù)集的摘要。
一個(gè)例子顯示了跨源點(diǎn)云的挑戰(zhàn)。交叉源對(duì)中普遍存在大量噪聲、離群點(diǎn)、密度差和部分重疊
應(yīng)用
點(diǎn)云配準(zhǔn)是許多應(yīng)用中的關(guān)鍵技術(shù)。本節(jié)介紹了點(diǎn)云配準(zhǔn)在各種應(yīng)用中的作用，并總結(jié)了各種應(yīng)用中的研究方向。
A、 建筑信息模型（building information modeling，簡(jiǎn)稱BIM）
是新一代的信息存儲(chǔ)和處理系統(tǒng)，廣泛應(yīng)用于建筑工程和建筑管理中。它通常包含建筑物的三維模型和屬性。以前的計(jì)算機(jī)輔助BIM設(shè)計(jì)僅限于簡(jiǎn)單的指導(dǎo)和理論規(guī)劃，因?yàn)闆](méi)有與真實(shí)的物理世界進(jìn)行交互。點(diǎn)云可以克服這一限制，并提供精確細(xì)節(jié)地將數(shù)字模型與物理空間對(duì)齊的能力。
BIM模型中的點(diǎn)云
B、 在礦區(qū)的開采空間
C、三維傳感器在自主駕駛中
得到了廣泛的應(yīng)用，能夠提供高精度的三維環(huán)境傳感數(shù)據(jù)。點(diǎn)云是存儲(chǔ)這些三維數(shù)據(jù)的有效方法。由于每個(gè)傳感器在每次掃描中都有視圖限制，因此點(diǎn)云配準(zhǔn)對(duì)于提供具有更大視圖的高質(zhì)量三維數(shù)據(jù)以實(shí)現(xiàn)自主駕駛至關(guān)重要。配準(zhǔn)的主要貢獻(xiàn)包括兩個(gè)方面：創(chuàng)建大規(guī)模的三維掃描點(diǎn)云和提供姿態(tài)估計(jì)。
開放性問(wèn)題和未來(lái)方向
基于以上文獻(xiàn)綜述和應(yīng)用綜述，開放性問(wèn)題有兩個(gè)方面：
（1）通過(guò)克服相同來(lái)源和跨來(lái)源的挑戰(zhàn)，實(shí)現(xiàn)高精度和魯棒的配準(zhǔn)。
（2） 運(yùn)行速度快，精度高。在這一部分，我們提出了四個(gè)未來(lái)的研究方向。
-
魯棒準(zhǔn)確的配準(zhǔn)，點(diǎn)云是三維環(huán)境的記錄。然而，由于噪聲和異常值的變化，實(shí)際數(shù)據(jù)非常復(fù)雜。這些變化可能來(lái)自不同采集時(shí)間的傳感器或環(huán)境變化。
-
效率，配準(zhǔn)效率是另一個(gè)有待研究的問(wèn)題，也是今后的研究方向。最近的點(diǎn)云通常包含數(shù)百萬(wàn)個(gè)點(diǎn)，傳統(tǒng)的優(yōu)化方法如ICP將非常緩慢。然而，目前許多先進(jìn)的方法都要求ICP進(jìn)行細(xì)化以獲得較高的精度。
-
部分重疊部分重疊表示只有部分點(diǎn)云描述相同的三維環(huán)境，而其他部分則不同。部分重疊率可能非常小，例如小于20%。這種重疊率將是非常具有挑戰(zhàn)性的，因?yàn)橹丿B率的搜索是一個(gè)組合問(wèn)題，即使是我們的人類需要很多時(shí)間來(lái)手動(dòng)對(duì)齊兩個(gè)部分重疊的點(diǎn)云以找到公共區(qū)域。
-
深度學(xué)習(xí)與配準(zhǔn)數(shù)學(xué)理論的融合，已有的許多實(shí)驗(yàn)[35]、[6]、[41]表明，直接應(yīng)用配準(zhǔn)數(shù)學(xué)理論會(huì)耗費(fèi)大量的計(jì)算時(shí)間，而直接應(yīng)用深度學(xué)習(xí)并不能保證精度。直接結(jié)合深度學(xué)習(xí)和ICP仍然需要消耗很多的計(jì)算時(shí)間。
總結(jié)
本文對(duì)同源域和跨源域的點(diǎn)云配準(zhǔn)進(jìn)行了全面的綜述。在這項(xiàng)調(diào)查中，我們第一次對(duì)跨源點(diǎn)云配準(zhǔn)進(jìn)行了回顧，并評(píng)估了現(xiàn)有的跨源數(shù)據(jù)集最先進(jìn)的配準(zhǔn)方法。在此基礎(chǔ)上，總結(jié)了點(diǎn)云配準(zhǔn)的應(yīng)用前景。最后，提出了點(diǎn)云配準(zhǔn)領(lǐng)域未來(lái)的研究方向和有待解決的問(wèn)題。
總結(jié)
以上是生活随笔為你收集整理的2021最新关于点云配准的全面综述的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： windows编译librtmp
- 下一篇： 论文管理：zotero的安装和插件使用