?原創(chuàng) | 文 BFT機(jī)器人

傳統(tǒng)的手工特征描述符通常具有內(nèi)在的旋轉(zhuǎn)不變性，但是最近的深度匹配器通常通過數(shù)據(jù)增強(qiáng)來獲得旋轉(zhuǎn)不變性。

然而，由于增強(qiáng)旋轉(zhuǎn)數(shù)量有限，無法覆蓋連續(xù)SO（3）空間中所有可能的旋轉(zhuǎn)，因此這些方法通常在面對(duì)罕見旋轉(zhuǎn)時(shí)表現(xiàn)不穩(wěn)定。

為了解決這個(gè)問題，本篇論文提出了RoITr方法，使用注意力機(jī)制和基于點(diǎn)對(duì)特征的坐標(biāo)來處理姿態(tài)變化，并在剛性和非剛性基準(zhǔn)測試中進(jìn)行了廣泛實(shí)驗(yàn)以證明其優(yōu)越性。

01??該篇論文的創(chuàng)新點(diǎn)

本篇論文的創(chuàng)新點(diǎn)是提出了一種名為RoITr（Ro tation-Invariant Tr ansformer）的新方法，用于解決點(diǎn)云匹配任務(wù)中的姿態(tài)變化問題。

該方法使用注意力機(jī)制和基于點(diǎn)對(duì)特征的坐標(biāo)來處理姿態(tài)變化，并在剛性和非剛性基準(zhǔn)測試中進(jìn)行了廣泛實(shí)驗(yàn)以證明其優(yōu)越性。與現(xiàn)有的深度匹配器相比，RoITr具有更高的魯棒性和旋轉(zhuǎn)不變性，并且在效率和準(zhǔn)確性方面都表現(xiàn)出色。

圖1是本篇論文中的一個(gè)概覽圖，它展示了RoITr的整體架構(gòu)。

本文提出了一種名為RoITr的點(diǎn)云配準(zhǔn)算法，它能夠在姿態(tài)不確定的情況下實(shí)現(xiàn)高精度的點(diǎn)云配準(zhǔn)。RoITr算法主要分為三個(gè)步驟：局部幾何編碼、全局上下文聚合和粗到細(xì)的匹配。

第一步是局部幾何編碼。

RoITr使用了一個(gè)名為Point Pair Feature Transformer（PPFTrans）的編碼器-解碼器架構(gòu)，用于對(duì)點(diǎn)云進(jìn)行局部幾何編碼。PPFTrans包含一個(gè)編碼器和一個(gè)解碼器，其中編碼器由多個(gè)Attentional Abstraction Layer（AAL）和Point Pair Feature Attention Layer（PAL）組成。

AAL用于下采樣和抽象化，而PAL則用于對(duì)局部幾何進(jìn)行編碼和上下文聚合。這些層都基于本文提出的PPF Attention Mechanism（PAM），它使得RoITr具有姿態(tài)不變性。

第二步是全局上下文聚合。

RoITr使用了一個(gè)堆疊的全局Transformer網(wǎng)絡(luò)來對(duì)整個(gè)點(diǎn)云進(jìn)行上下文聚合。

這個(gè)網(wǎng)絡(luò)由多個(gè)Transformer塊組成，每個(gè)塊都包含多頭自注意力機(jī)制和前饋神經(jīng)網(wǎng)絡(luò)層。這些塊可以有效地捕獲點(diǎn)云中的全局結(jié)構(gòu)信息，并將其與局部幾何信息相結(jié)合。

第三步是粗到細(xì)的匹配。

RoITr使用了一種粗到細(xì)的匹配策略，該策略通過逐層下采樣和上采樣來實(shí)現(xiàn)。

首先，RoITr將輸入點(diǎn)云分別編碼為超級(jí)點(diǎn)P和Q，并提取它們之間的初始匹配集C0。然后，RoITr對(duì)P和Q進(jìn)行逐層下采樣，生成更粗糙的超級(jí)點(diǎn)，并提取它們之間的匹配集Ci。

接下來，RoITr對(duì)Ci進(jìn)行上采樣，生成更細(xì)致的超級(jí)點(diǎn)，并提取它們之間的匹配集Ci+1。這個(gè)過程一直持續(xù)到達(dá)到所需的匹配精度為止。

02??實(shí)驗(yàn)

實(shí)驗(yàn)主要是針對(duì)三維點(diǎn)云匹配和配準(zhǔn)問題進(jìn)行的。

作者提出了一種新的方法RoITr，并將其與七種現(xiàn)有方法進(jìn)行了比較。實(shí)驗(yàn)使用了3DMatch和3DLoMatch數(shù)據(jù)集，并在旋轉(zhuǎn)和非旋轉(zhuǎn)情況下進(jìn)行了評(píng)估。表格和圖表展示了定量和定性結(jié)果，以及不同方法之間的比較。

表1展示了在旋轉(zhuǎn)和非旋轉(zhuǎn)的3DMatch和3DLoMatch數(shù)據(jù)集上的定量結(jié)果。

評(píng)估使用了5,000個(gè)點(diǎn)/對(duì)應(yīng)關(guān)系。只有RMSE小于0.2m的點(diǎn)云被視為正確配準(zhǔn)。

圖2展示了在3DLoMatch數(shù)據(jù)集上的定性結(jié)果。

基準(zhǔn)方法是GeoTrans。

圖中的(b)和(c)列顯示了兩個(gè)點(diǎn)云之間的對(duì)應(yīng)關(guān)系，而(d)和(e)列則展示了配準(zhǔn)結(jié)果。綠色線表示內(nèi)點(diǎn)，紅色線表示外點(diǎn)。

消融實(shí)驗(yàn)：

在本文的Ablation Study中，作者主要對(duì)RoITr方法進(jìn)行了改進(jìn)和削弱，并比較了這些變化對(duì)匹配和配準(zhǔn)性能的影響。

具體來說，作者使用Point-Transformer（PT）替換PPFTrans，并將PPF-based local coordinates嵌入到PT中，同時(shí)采用PT在PAM中使用的相對(duì)坐標(biāo)。結(jié)果表明，本地坐標(biāo)表示顯著提高了PT在點(diǎn)云匹配任務(wù)中的性能，并使其具有旋轉(zhuǎn)不變性。然而，相對(duì)坐標(biāo)在PAM中失敗了，因?yàn)樽髡卟捎昧艘环N更有效的注意力機(jī)制。

此外，在消融實(shí)驗(yàn)中還比較了不同模型組件的貢獻(xiàn)。例如，在RoITr方法中，Attention Abstraction Layer（AAL）、PPF Attention Layer（PAL）和Transition Up Layer（TUL）是構(gòu)成PPFTrans（PPF Transformer）的關(guān)鍵組件。通過逐步去除這些組件并重新訓(xùn)練模型，作者發(fā)現(xiàn)每個(gè)組件都對(duì)最終性能有重要貢獻(xiàn)。

總之，在Ablation Study中，作者通過逐步改變模型并比較結(jié)果來探索RoITr方法的優(yōu)缺點(diǎn)，并確定哪些組件對(duì)于該方法的成功至關(guān)重要。

圖3展示了在4DLoMatch上使用Lepard 作為基準(zhǔn)的非剛性匹配的定性結(jié)果。綠色/紅色線表示內(nèi)點(diǎn)/外點(diǎn)。

03??結(jié)論

引入了一種用于點(diǎn)云匹配的內(nèi)在旋轉(zhuǎn)不變模型RoITr。提出了PAM (PPF注意機(jī)制)，該機(jī)制嵌入了基于PPF的局部坐標(biāo)來編碼旋轉(zhuǎn)不變幾何。

該設(shè)計(jì)以AAL (Attention Abstraction Layer)、PAL (PPF Attention Layer)和TUL (Transition Up Layer)為核心，它們被連續(xù)堆疊組成PPFTrans (PPF Transformer)，用于具有代表性和姿態(tài)無關(guān)的幾何描述。

通過引入一種新的全局變壓器架構(gòu)進(jìn)一步增強(qiáng)了特征，該架構(gòu)確保了旋轉(zhuǎn)不變的跨幀空間感知。在剛性和非剛性基準(zhǔn)上進(jìn)行了大量的實(shí)驗(yàn)，以證明該方法的優(yōu)越性，特別是對(duì)任意旋轉(zhuǎn)的顯著魯棒性。

網(wǎng)址：

https://blog.csdn.net/qinglostsoul/article/details/108224863

標(biāo)題：

Rotation-Invariant Transformer for Point Cloud Matching

更多精彩內(nèi)容請(qǐng)關(guān)注公眾號(hào)：BFT機(jī)器人

本文為原創(chuàng)文章，版權(quán)歸BFT機(jī)器人所有，如需轉(zhuǎn)載請(qǐng)與我們聯(lián)系。若您對(duì)該文章內(nèi)容有任何疑問，請(qǐng)與我們聯(lián)系，將及時(shí)回應(yīng)。

總結(jié)

以上是生活随笔為你收集整理的CVPR论文解读 | 点云匹配的旋转不变变压器的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。