點擊上方“3D視覺工坊”，選擇“星標(biāo)”

干貨第一時間送達(dá)

簡介

作者提出了一種基于RGB-D的深度學(xué)習(xí)方法6PACK，能夠?qū)崟r的跟蹤已知類別物體。通過學(xué)習(xí)用少量的3D關(guān)鍵點來簡潔地表示一個物體，基于這些關(guān)鍵點，通過關(guān)鍵點匹配來估計物體在幀與幀之間的運動。這些關(guān)鍵點使用無監(jiān)督端到端學(xué)習(xí)來實現(xiàn)有效的跟蹤。實驗表明該方法顯著優(yōu)于現(xiàn)有方法，并支持機(jī)器人執(zhí)行簡單的基于視覺的閉環(huán)操作任務(wù)。

問題的提出

在機(jī)器人抓取任務(wù)中，實時跟蹤物體6D位姿的能力影響抓取任務(wù)的實施。現(xiàn)有的6D跟蹤方法大部分是基于物體的三維模型進(jìn)行的，有較高的準(zhǔn)確性和魯棒性。然而在現(xiàn)實環(huán)境中，很難獲得物體的三維模型，所以作者提出開發(fā)一種類別級模型，能夠跟蹤特定類別從未見過的物體。

創(chuàng)新點

1、這種方法不需要已知物體的三維模型。相反，它通過新的anchor機(jī)制，類似于2D對象檢測中使用的proposals方法，來避免定義和估計絕對6D位姿。2、這些anchor為生成3D關(guān)鍵點提供了基礎(chǔ)。與以往需要手動標(biāo)注關(guān)鍵點的方法不同，提出了一種無監(jiān)督學(xué)習(xí)方法，該方法可以發(fā)現(xiàn)最優(yōu)的3D關(guān)鍵點集進(jìn)行跟蹤。3、這些關(guān)鍵點用于簡潔的表示物體，可以有效地估計相鄰兩幀之間位姿的差異。這種基于關(guān)鍵點的表示方法可以實現(xiàn)魯棒的實時6D姿態(tài)跟蹤。

核心思想

作者提出的模型使用RGB-D圖像，基于之前位姿周圍采樣的anchors(紅點)，來魯棒地檢測和跟蹤一組基于3D類別的關(guān)鍵點(黃色)。然后利用連續(xù)兩幀中預(yù)測的關(guān)鍵點，通過最小二乘優(yōu)化求解點集對齊的問題，計算出6D物體的位姿變化：

問題的定義

將類別級物體6D位姿跟蹤定義為：物體在連續(xù)時間t?1和t之間的位姿變化問題。初始位姿是針對相同類別的所有目標(biāo)物體定義的標(biāo)準(zhǔn)框架相對于相機(jī)框架的平移和旋轉(zhuǎn)。例如，對于類別“相機(jī)”，將框架放置在物體的質(zhì)心處，x軸指向相機(jī)物鏡的方向，y軸指向上方。將3D關(guān)鍵點定義為：在整個時間序列中幾何和語義上一致的點。給定兩個連續(xù)的輸入幀，需要從兩幀中預(yù)測匹配的關(guān)鍵點列表。基于剛體假設(shè)的基礎(chǔ)，利用最小二乘優(yōu)化來解決點集對齊問題，從而得到位姿的變化?p。

模型

首先在預(yù)測物體實例的周圍剪裁一個放大的體積，將其歸一化為一個單元；在體積塊上生成anchor網(wǎng)格；之后使用DenseFusion計算M個點的幾何與顏色融合特征；根據(jù)距離將它們平均池化成N個anchor特征；注意力機(jī)制網(wǎng)絡(luò)使用anchor特征來選擇最接近質(zhì)心的點；用質(zhì)心生成一組有序的關(guān)鍵點。將這種關(guān)鍵點生成方法應(yīng)用在前一幀和當(dāng)前幀，得到兩組有序的關(guān)鍵點來計算幀間的位姿變化。6-PACK算法在預(yù)測位姿周圍生成anchor網(wǎng)格的過程中使用了注意力機(jī)制。每個點用RGB-D點單獨特征的距離加權(quán)和來表示體積。使用anchor信息在新的RGB-D框架中找到物體的粗略質(zhì)心，并指導(dǎo)對其周圍關(guān)鍵點的后續(xù)搜索，這比在無約束的三維空間中搜索關(guān)鍵點效率更高。?

實驗與結(jié)果

作者采用的數(shù)據(jù)集是NOCS-REAL275，包含六個類別。通過對比三個模型的baseline來評估作者的方法。NOCS：類別級物體6D位姿估計sota。ICP：Open3D中中實現(xiàn)的標(biāo)準(zhǔn)點對面ICP算法。KeypointNet：直接在三維空間中生成3D關(guān)鍵點。1)6-PACK指標(biāo)5°/5cm比NOCS高出15%以上，指標(biāo)IoU25高出12%。說明與使用所有輸入像素作為關(guān)鍵點的NOCS相比，6-PACK能夠檢測出最適合類別級6D跟蹤的3D關(guān)鍵點。實驗結(jié)果如下圖所示：其中，前兩列為NOCS和6-PACK的定性對比，后兩列為關(guān)鍵點匹配的結(jié)果。2)6-PACK所有指標(biāo)都優(yōu)于KeypointNet，KeypointNet經(jīng)常跟丟。作者的方法避免了丟失物體的軌跡(IoU25>94%)，基于anchor的注意力機(jī)制提高了整體的跟蹤性能。3)為了檢驗不同方法的魯棒性和穩(wěn)定性，作者計算了沒有前x幀的平均性能。這樣就能測量出初始位姿對性能的影響(接近初始位姿的幀很容易跟蹤)。如下圖，除了NOCS之外，所有方法的性能都有所下降，因為NOCS是位姿估計方法，而不是位姿跟蹤方法。在整個過程中，6-PACK的性能比NOCS高出10%以上，并在初始幀100后停止下降。4)作者在機(jī)器人上進(jìn)行了實時測試，超過60％的試驗中，成功地跟蹤了目標(biāo)(目標(biāo)在可視范圍內(nèi))，而沒有丟失。

論文地址：https://arxiv.org/abs/1910.10750v1

代碼鏈接：https://sites.google.com/view/6PACKtracking

上述內(nèi)容，如有侵犯版權(quán)，請聯(lián)系作者，會自行刪文。

推薦閱讀：

吐血整理|3D視覺系統(tǒng)化學(xué)習(xí)路線

那些精貴的3D視覺系統(tǒng)學(xué)習(xí)資源總結(jié)(附書籍、網(wǎng)址與視頻教程)

超全的3D視覺數(shù)據(jù)集匯總

大盤點|6D姿態(tài)估計算法匯總(上)

大盤點|6D姿態(tài)估計算法匯總(下)

機(jī)器人抓取匯總|涉及目標(biāo)檢測、分割、姿態(tài)識別、抓取點檢測、路徑規(guī)劃

匯總|3D點云目標(biāo)檢測算法

匯總|3D人臉重建算法那些年，我們一起刷過的計算機(jī)視覺比賽總結(jié)|深度學(xué)習(xí)實現(xiàn)缺陷檢測深度學(xué)習(xí)在3-D環(huán)境重建中的應(yīng)用匯總|醫(yī)學(xué)圖像分析領(lǐng)域論文大盤點|OCR算法匯總

重磅！3DCVer-知識星球和學(xué)術(shù)交流群已成立

3D視覺從入門到精通知識星球：針對3D視覺領(lǐng)域的知識點匯總、入門進(jìn)階學(xué)習(xí)路線、最新paper分享、疑問解答四個方面進(jìn)行深耕，更有各類大廠的算法工程人員進(jìn)行技術(shù)指導(dǎo)，550+的星球成員為創(chuàng)造更好的AI世界共同進(jìn)步，知識星球入口：

學(xué)習(xí)3D視覺核心技術(shù)，掃描查看介紹，3天內(nèi)無條件退款

?圈里有高質(zhì)量教程資料、可答疑解惑、助你高效解決問題

歡迎加入我們公眾號讀者群一起和同行交流，目前有3D視覺、CV&深度學(xué)習(xí)、SLAM、三維重建、點云后處理、自動駕駛、CV入門、醫(yī)療影像、缺陷檢測、行人重識別、目標(biāo)跟蹤、視覺產(chǎn)品落地、視覺競賽、車牌識別等微信群，請掃描下面微信號加群，備注：”研究方向+學(xué)校/公司+昵稱“，例如：”3D視覺?+ 上海交大 + 靜靜“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進(jìn)去相關(guān)微信群。原創(chuàng)投稿也請聯(lián)系。

▲長按加群或投稿

總結(jié)

以上是生活随笔為你收集整理的传统的6d位姿估计fangfa1_李飞飞团队最新论文：基于anchor关键点的类别级物体6D位姿跟踪...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。