點擊上方“3D視覺工坊”，選擇“星標”

干貨第一時間送達

作者丨paopaoslam

來源丨?泡泡機器人SLAM

標題：Lidar-Monocular Surface Reconstruction Using Line Segments

作者：Victor Amblard, Timothy P. Osedach, Arnaud Croux, Andrew Speck and John J. Leonard

來源：2021 IEEE International Conference on Robotics and Automation (ICRA)

編譯：方祿

審核：Zoe，王靖淇

摘要

運動結構（SfM）在缺乏合適的視覺特征的環境中往往無法估計出正確的位姿。在這種情況下，最終的三維網格質量（取決于估計的準確性）會降低。解決這個問題的一種方法是將單目相機和激光雷達的數據結合起來。這種方法能夠捕捉到環境中精細的細節和紋理，同時仍能準確地表示無特征的對象。然而由于這兩種傳感器的根本特性不同，融合這兩種傳感器模式是具有挑戰性的。相比直接融合圖像特征和雷達數據點，本文提出借助在雷達掃描和圖像數據中檢測出共同的幾何特征，以此在更高級別的空間中處理來自兩個傳感器的數據。特別是在用BA優化位姿之前，找到雷達掃描提取的三維線束與圖像中檢測到的二維線束之間的對應關系。作者還利用檢測出和優化的線段來提高最終網格的質量，并在最新的公開數據集上測試了該方法，將三維網格的完整性和準確性與使用測量級3d掃描儀得到的真值進行比較。結果表明，該方法的所得到的結果與最先進的激光雷達測量相差無幾，并不需要高精度的真值位姿估計。

圖1所示為基于點線特征將雷達掃描數據和單目圖像緊密耦合以完成三維場景重建的方法

圖2：該方法的流程概述

圖3：雷達和相機3維線段檢測流程概述。

圖4：成對關聯的邊緣是按照文中描述的匹配過程進行的。紅色表示過濾掉的不一致關聯數據，OL1和Ol2是不同視圖的3d線段的集合，但代表的是同一個線段，其準確位置尚不確定。

圖5：數據真值的軌跡。綠色為第一個序列，橘色為第二個序列數據。

圖6：每個圓代表從雷達中檢測出的邊緣點，線是由線段檢測器檢測出來的。彩色代表一個二維線段與邊緣點之間的關聯，灰色代表未關聯

表I 基于Newer College 數據集測試本文方法得到的數值評估結果。最好的結果加粗顯示。

表II 基于Newer College數據集序列1和序列2的重構結果，最好的結果加粗顯示。

圖7：不同方法在序列2上取得的表面重建網格。失真的顏色代表網格到真實點云之間的距離，圖示為從藍色到紅色。

Abstract

Structure from Motion (SfM) often fails to estimate accurate poses in environments that lack suitable visual features.In such cases, the quality of the final 3D mesh, which is contingent on the accuracy of those estimates, is reduced. One way to overcome this problem is to combine data from a monocular camera with that of a LIDAR. This allows fine details and texture to be captured while still accurately representing featureless subjects. However, fusing these two sensor modalities is challenging due to their fundamentally different characteristics. Rather than directly fusing image features and LIDAR points, we propose to leverage common geometric features that are detected in both the LIDAR scans and image data, allowing data from the two sensors to be processed in a higher-level space. In particular, we propose to find correspondences between 3D lines extracted from LIDAR scans and 2D lines detected in images before performing a bundle adjustment to refine poses. We also exploit the detected and optimized line segments to improve the quality of the final mesh. We test our approach on the recently published dataset, Newer College Dataset. We compare the accuracy and the completeness of the 3D mesh to a ground truth obtained with a survey-grade 3D scanner. We show that our method delivers results that are comparable to a state-of-the-art LIDAR survey while not requiring highly accurate ground truth pose estimates. We plan to release our code before publication

本文僅做學術分享，如有侵權，請聯系刪文。

干貨下載與學習

后臺回復：巴塞羅那自治大學課件，即可下載國外大學沉淀數年3D Vison精品課件

后臺回復：計算機視覺書籍，即可下載3D視覺領域經典書籍pdf

后臺回復：3D視覺課程，即可學習3D視覺領域精品課程

3D視覺工坊精品課程官網：3dcver.com

1.面向自動駕駛領域的多傳感器數據融合技術

2.面向自動駕駛領域的3D點云目標檢測全棧學習路線！(單模態+多模態/數據+代碼)
3.徹底搞透視覺三維重建：原理剖析、代碼講解、及優化改進
4.國內首個面向工業級實戰的點云處理課程
5.激光-視覺-IMU-GPS融合SLAM算法梳理和代碼講解
6.徹底搞懂視覺-慣性SLAM：基于VINS-Fusion正式開課啦
7.徹底搞懂基于LOAM框架的3D激光SLAM: 源碼剖析到算法優化
8.徹底剖析室內、室外激光SLAM關鍵算法原理、代碼和實戰(cartographer+LOAM +LIO-SAM)

9.從零搭建一套結構光3D重建系統[理論+源碼+實踐]

10.單目深度估計方法：算法梳理與代碼實現

11.自動駕駛中的深度學習模型部署實戰

12.相機模型與標定(單目+雙目+魚眼）

13.重磅！四旋翼飛行器：算法與實戰

14.ROS2從入門到精通：理論與實戰

15.國內首個3D缺陷檢測教程：理論、源碼與實戰

16.基于Open3D的點云處理入門與實戰教程

重磅！3DCVer-學術論文寫作投稿?交流群已成立

掃碼添加小助手微信，可申請加入3D視覺工坊-學術論文寫作與投稿?微信交流群，旨在交流頂會、頂刊、SCI、EI等寫作與投稿事宜。

同時也可申請加入我們的細分方向交流群，目前主要有3D視覺、CV&深度學習、SLAM、三維重建、點云后處理、自動駕駛、多傳感器融合、CV入門、三維測量、VR/AR、3D人臉識別、醫療影像、缺陷檢測、行人重識別、目標跟蹤、視覺產品落地、視覺競賽、車牌識別、硬件選型、學術交流、求職交流、ORB-SLAM系列源碼交流、深度估計等微信群。

一定要備注：研究方向+學校/公司+昵稱，例如：”3D視覺?+ 上海交大 + 靜靜“。請按照格式備注，可快速被通過且邀請進群。原創投稿也請聯系。

▲長按加微信群或投稿，加微信：dddvision

▲長按關注公眾號

3D視覺從入門到精通知識星球：針對3D視覺領域的視頻課程（三維重建系列、三維點云系列、結構光系列、手眼標定、相機標定、激光/視覺SLAM、自動駕駛等）、知識點匯總、入門進階學習路線、最新paper分享、疑問解答五個方面進行深耕，更有各類大廠的算法工程人員進行技術指導。與此同時，星球將聯合知名企業發布3D視覺相關算法開發崗位以及項目對接信息，打造成集技術與就業為一體的鐵桿粉絲聚集區，近6000星球成員為創造更好的AI世界共同進步，知識星球入口：

學習3D視覺核心技術，掃描查看介紹，3天內無條件退款

?圈里有高質量教程資料、答疑解惑、助你高效解決問題

覺得有用，麻煩給個贊和在看~??

總結

以上是生活随笔為你收集整理的基于线段的激光雷达单目曲面重建（ICRA2021）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。