點擊上方“3D視覺工坊”，選擇“星標”

干貨第一時間送達

來源丨泡泡機器人SLAM

作者丨paopaoslam

標題：Multi-Echo LiDAR for 3D Object Detection

作者: Yunze Man, Xinshuo Weng, Prasanna Kumar Sivakumar, Matthew O'Toole, Kris M. Kitani

來源：ICCV 2021

編譯：鞠季宏

審核：lionheart

摘要

除了常見的 3D 點云之外，LiDAR 傳感器還可獲取其他測量信號。這些信號可以被用來改進 3D 對象檢測等感知任務。單個激光脈沖可以被沿其路徑的多個物體部分反射，從而產生多次被稱為回波的測量。多回波測量可以提供有關物體輪廓和半透明表面的信息，可用于更好地識別和定位物體。LiDAR 還可以測量表面反射率（激光脈沖返回的強度），以及場景的環境光（物體反射的陽光）。商用 LiDAR 設備已經提供這些信號，但大多數基于 LiDAR 的檢測模型尚未使用它們。我們提出了一個 3D 物體檢測模型，該模型利用了 LiDAR 提供的全部測量信號。首先，我們提出了一個多信號融合 (MSF) 模塊來組合 (1) 使用 2D CNN 提取的反射率和環境光特征，以及 (2) 使用 3D 圖神經網絡 (GNN) 提取的點云特征。其次，我們提出了一個多回波聚合（MEA）模塊來組合在不同回波點集中編碼的信息。與傳統的單回波點云方法相比，我們提出的多信號 LiDAR 檢測器 (MSLiD) 從更廣泛的傳感測量中提取更豐富的上下文信息，并實現更準確的 3D 對象檢測。實驗表明，通過結合 LiDAR 的多模態，我們的方法比最先進的方法高出 9.1%。

主要貢獻

• MSLiD第一個提出使用多回波點、LiDAR 環境光以及反射率信號
  

• MSLiD 的多信號融合模塊（MSF）可以高效地結合密集的環境光、反射率圖像以及稀疏的多回波點云。

• MSLiD 的多回波聚合模塊 （MEA）可以從多組回波中獲得更豐富的物體情景信息，更準確地定位和分類物體

方法概述

LiDAR 傳感器通過發射激光并接收激光反射信號測量距物體的距離。如圖一所示，部分LiDAR傳感器所發射的激光脈沖可能穿透物體從而接受到多個反射信號。這些多回波信號可以提供很多關于物體的信息，比如物體表面是否透明，這些信息可以被用來提升三維物體檢測的準確性。本文提出使用多回波生成的點云，而不是傳統單一回波生成的點云進行三維物體檢測的任務。

除多回波信號外，LiDAR 傳感器同時還可以捕捉環境光以及反射率，這些信息同樣可以被用來提升三位物體檢測的準確率。具體來說，本文將環境光和反射率分別投射生成范圍圖像（range image）。圖二顯示這些范圍圖像作為二維卷積神經網絡的輸入被用來進行二維物體識別。二維物體識別的結果可以生成三維點的分類信息。同多回波點云的點特征和范圍圖像的像素特征一起，三維圖神經網絡可以生成三維物體的邊界框。

多回波聚合

位于邊界框內的點云作為輸入預測物體的分類和細化邊界框。不同于傳統基于單回波點云的方法，本文將多回波點云根據可穿透性分組。可穿透點云特征和不可穿透點云特征被串聯在一起共同被用于分類和精細邊界框預測。

損失函數

網絡的損失函數由兩部分組成：

邊界框生成誤差

邊界框分類和精細化誤差

實驗結果

本文分別在真實數據集和合成數據集上測試 MSLiD。其中真實數據集使用原型 LiDAR 傳感器在一個北美城市采集；合成數據集基于 CARLA 模擬器生成。

表一顯示使用多回波點云可以提升多個 SOTA 方法的物體檢測準確度。且本文提出的 MSLiD 框架可以在這些 SOTA 方法以上繼續提升準確度，表明融合環境光和反射率圖像可以同樣可以提升三維物體檢測表現。

表三顯示多信號融合模塊（MSF）和多回聲聚合（MEA）模塊均可以顯著提升準確率。

Abstract

LiDAR sensors can be used to obtain a wide range of measurement signals other than a simple 3D point cloud, and those signals can be leveraged to improve perception tasks like 3D object detection. A single laser pulse can be partially reflected by multiple objects along its path, resulting in multiple measurements called echoes. Multi-echo measurement can provide information about object contours and semi-transparent surfaces which can be used to better identify and locate objects. LiDAR can also measure surface reflectance (intensity of laser pulse return), as well as ambient light of the scene (sunlight reflected by objects). These signals are already available in commercial LiDAR devices but have not been used in most LiDAR-based detection models. We present a 3D object detection model which leverages the full spectrum of measurement signals provided by LiDAR. First, we propose a multi-signal fusion (MSF) module to combine (1) the reflectance and ambient features extracted with a 2D CNN, and (2) point cloud features extracted using a 3D graph neural network (GNN). Second, we propose a multi-echo aggregation (MEA) module to combine the information encoded in different set of echo points. Compared with traditional single echo point cloud methods, our proposed multi-signal LiDAR Detector (MSLiD) extracts richer context information from a wider range of sensing measurements and achieves more accurate 3D object detection. Experiments show that by incorporating the multi-modality of LiDAR, our method outperforms the state-of-the-art by up to relatively 9.1%.

如果你對本文感興趣，想要下載完整文章進行閱讀

本文僅做學術分享，如有侵權，請聯系刪文。

3D視覺精品課程推薦：

1.面向自動駕駛領域的多傳感器數據融合技術

2.面向自動駕駛領域的3D點云目標檢測全棧學習路線！(單模態+多模態/數據+代碼)
3.徹底搞透視覺三維重建：原理剖析、代碼講解、及優化改進
4.國內首個面向工業級實戰的點云處理課程
5.激光-視覺-IMU-GPS融合SLAM算法梳理和代碼講解
6.徹底搞懂視覺-慣性SLAM：基于VINS-Fusion正式開課啦
7.徹底搞懂基于LOAM框架的3D激光SLAM: 源碼剖析到算法優化
8.徹底剖析室內、室外激光SLAM關鍵算法原理、代碼和實戰(cartographer+LOAM +LIO-SAM)

9.從零搭建一套結構光3D重建系統[理論+源碼+實踐]

10.單目深度估計方法：算法梳理與代碼實現

11.自動駕駛中的深度學習模型部署實戰

12.相機模型與標定(單目+雙目+魚眼）

重磅！3DCVer-學術論文寫作投稿?交流群已成立

掃碼添加小助手微信，可申請加入3D視覺工坊-學術論文寫作與投稿?微信交流群，旨在交流頂會、頂刊、SCI、EI等寫作與投稿事宜。

同時也可申請加入我們的細分方向交流群，目前主要有3D視覺、CV&深度學習、SLAM、三維重建、點云后處理、自動駕駛、多傳感器融合、CV入門、三維測量、VR/AR、3D人臉識別、醫療影像、缺陷檢測、行人重識別、目標跟蹤、視覺產品落地、視覺競賽、車牌識別、硬件選型、學術交流、求職交流、ORB-SLAM系列源碼交流、深度估計等微信群。

一定要備注：研究方向+學校/公司+昵稱，例如：”3D視覺?+ 上海交大 + 靜靜“。請按照格式備注，可快速被通過且邀請進群。原創投稿也請聯系。

▲長按加微信群或投稿

▲長按關注公眾號

3D視覺從入門到精通知識星球：針對3D視覺領域的視頻課程（三維重建系列、三維點云系列、結構光系列、手眼標定、相機標定、激光/視覺SLAM、自動駕駛等）、知識點匯總、入門進階學習路線、最新paper分享、疑問解答五個方面進行深耕，更有各類大廠的算法工程人員進行技術指導。與此同時，星球將聯合知名企業發布3D視覺相關算法開發崗位以及項目對接信息，打造成集技術與就業為一體的鐵桿粉絲聚集區，近4000星球成員為創造更好的AI世界共同進步，知識星球入口：

學習3D視覺核心技術，掃描查看介紹，3天內無條件退款

?圈里有高質量教程資料、可答疑解惑、助你高效解決問題

覺得有用，麻煩給個贊和在看~??

總結

以上是生活随笔為你收集整理的基于多回波 LiDAR 数据的三维物体检测的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。