標題：3D Vehicle Detection Using Camera and Low-Resolution LiDAR Zhang, Rui Huang, Le Cui, Siyu Zhu, and Ping Tan

作者：Lin Bai, Yiming Zhao and Xinming Huang

編譯：點云PCL

本文僅做學術分享，如有侵權，請聯系刪除。歡迎各位加入免費知識星球，獲取PDF論文，歡迎轉發朋友圈。內容如有錯誤歡迎評論留言，未經允許請勿轉載！

公眾號致力于分享點云處理，SLAM，三維視覺，高精地圖相關的文章與技術，歡迎各位加入我們，一起每交流一起進步,有興趣的可聯系微信：920177957。本文來自點云PCL博主的分享，未經作者允許請勿轉載，歡迎各位同學積極分享和交流。

摘要

目前，LiDAR已廣泛應用于自動駕駛車輛的感知與定位系統中。然而，高分辨率激光雷達的成本仍然昂貴得讓人望而卻步，相反低分辨率激光雷達的成本要便宜得多。因此，用低分辨率激光雷達代替高分辨率激光雷達進行自主駕駛感知是一種經濟可行的解決方案。本文提出了一種利用低分辨率激光雷達和單目攝像機進行三維目標檢測的新框架。以低分辨率激光雷達點云和單目圖像為輸入，我們的深度修復網絡能夠生成密集點云，然后由基于體素的網絡進行三維目標檢測。實驗結果表明，該方法比直接應用16線激光雷達點云進行目標檢測具有更好的性能。對于簡單和中等難度場景，我們的檢測結果與64線高分辨率激光雷達相當。

介紹

表一比較了最流行的Velodyne 64線激光雷達HDL-64E和16線激光雷達VLP-16的規格。可見，低分辨率激光雷達的成本僅為高分辨率激光雷達的1/10左右

因此，有必要關注低分辨率激光雷達，以建立低成本的自主駕駛系統。然而，從低分辨率激光雷達產生的點云中進行目標檢測是一個很大的挑戰，因為點云太稀疏，甚至無法顯示目標的形狀。如圖2所示，我們幾乎無法從16線激光雷達捕獲的深度圖中找到物體，而64線激光雷達數據更為清晰可見。

圖2：16線激光雷達（底部）和64線激光雷達（中部）的深度圖與其RGB圖像（頂部）的對比，紅色框表示近程車輛，橙色框表示中距離車輛，遠程車輛用藍色框標記。綠色方框表示阻擋的車輛。

低分辨率激光雷達的研究主要集中在低分辨率激光雷達的基礎上，在圖像分割上引入了激光雷達的球坐標的局部法向量作為輸入。基于現有的LoDNN框架，在合理的退化范圍內，低分辨率激光雷達的道路分割性能與高分辨率激光雷達相當。但是隨著距離的增加，跟蹤性能急劇下降。

用于BEV目標檢測方法大多是基于高分辨率激光雷達，首先將點云轉化為BEV地圖，然后分別提取地面和兩個分支中的目標。最后通過后處理塊對目標進行預測將以前的版本進一步細化為端到端模型，并取得了更好的性能。比如基于體素化BEV圖的二維卷積的單級檢測器PIXOR。無需任何錨點，實現了實時處理速度。如前所述，由于高度稀疏性，低分辨率激光雷達深度圖不能提供足夠的物體形狀信息，只能提供精確深度信息的部分子樣本。同時，RGB圖像提供了豐富的上下文信息。因此，我們認為當融合稀疏深度圖和RGB圖像時，目標檢測成為可能。

主要內容

本文研究了低分辨率激光雷達用于BEV目標檢測的可能性。在圖2中，紅色框、橙色框和藍色框分別表示短程、中程和遠程車輛。對于短程車輛，它們的形狀在密集的深度圖上清晰可見。在稀疏深度圖中，形狀非常模糊，但仍然可以識別，因為掃描車輛的點的數量仍然足夠大。對于中遠程車輛（橙色和藍色方框），即使使用64線激光雷達，也只能獲得少量的點。而在16線激光雷達的稀疏深度圖中，掃描擊中點的數目很少甚至沒有。以圖2（h）中橙色方框中的中程車輛為例，由于距離差別較大，很容易將其識別為障礙物，但很難將其識別為車輛。這也適用于有遮擋的車輛（圖2（c）、（f）和（i）中的綠色框）。藍框中的遠程車輛（圖2（e）和（h）中）得到的點太少，無法正確定位和分類。通過以上分析，我們發現與64線激光雷達的深度圖不同，16線激光雷達深度圖顯示的不是可靠的背景信息，而是準確的距離信息。這意味著16線激光雷達深度圖對于深度估計比上下文信息提取更有用。因此，為了更好地利用16線的深度圖的信息，我們在目標檢測器之前放置了一個深度優化網絡，以生成一個包含上下文信息的密集深度圖（圖3）。生成密集深度圖后，將其發送到三維目標檢測器中，如圖4所示。

圖3 三維目標檢測解決方案：（a）以高分辨率點云為輸入(b） 低分辨率點云和圖像作為輸入。

圖4：利用低分辨率點云圖像進行目標檢測的框架

深度優化網絡

深度優化網絡的目的是利用RGB圖像對16線LiDAR點云稀疏深度圖進行填充。這里對最先進的深度優化網絡進行了一些修改。它需要兩個輸入，RGB圖像和低分辨率稀疏深度圖。RGB圖像提供了詳細的上下文信息，而稀疏深度圖為圖像上的某些像素提供了精確的深度信息。本文采用的傳感器融合策略也稱為早期融合。為了使網絡更緊湊，首先用ResNet-18替換ResNet-34。為了提高性能，放置了全局注意模塊和atrus Spatial pyramidpooling（ASPP）[18]模塊來橋接編碼器和解碼器。如圖5所示

全局注意模塊通過全局池層提取特征圖的全局上下文信息，然后將全局信息融合回來，指導特征學習。通過增加該模塊，將全局信息融合到特征中，無需上采樣層。這有助于解碼器部分獲得更好的性能。此外，ASPP模塊（圖6）被放置在編碼器和解碼器之間，每個卷積擴展速率為2、4、8和16。ASPP模塊將具有不同感知域的特征映射串聯起來，以便解碼器更好地理解上下文信息。

目標檢測網絡

在這個框架中采用的目標檢測網絡是PIXOR。其主要思想是利用二維卷積和無錨網絡的優點，在BEV中實現超快速點云目標檢測。PIXOR由兩個步驟組成。第一步是改進輸入點云的表示方法。它將BEV中的3個自由度降為2個，并提取第3個自由度（z或高度）作為另一個輸入特征映射通道。因此，用二維卷積代替三維卷積可以大大降低計算復雜度。第二步是將改造后的輸入特征圖輸入到無錨點的單級目標檢測器網絡中（圖7）

實驗

訓練集

整個框架的數據集訓練和評價均采用KITTI數據集（深度補全和目標檢測）。在輸入到上述框架之前，對點云進行下采樣以模擬VLP-16低分辨率激光雷達。KITTI深度完成數據集包含85898個訓練數據和1000個選定的驗證數據。它的地面真實感是通過將連續的激光雷達掃描幀聚合成一個半密集的深度圖，約30%的標注像素。KITTI目標檢測數據集有7481個訓練數據和7518個測試數據。評價分為三個階段：簡單、中等和困難，分別代表不同遮擋和截斷水平的對象。

深度優化網絡的性能評估

如III-A，為了提高深度完成性能，在深度優化網絡的編解碼器之間加入了多個GAM模塊。驗證數據集的性能比較如表1所示。加入GAM模塊后，性能分別提高了3.6%和7.0%。

圖8（b）和（c）分別展示了有和沒有GAM模塊的深度優化網絡的預測深度圖。

圖8：有和沒有GAM模塊的16線激光雷達的深度圖與其RGB圖像和真值的比較

圖9：本文提出的框架的三維目標檢測的可視化的結果，其中綠色框是真值，藍色框是框表示預測結果

圖10：該框架在KITTI-val數據集上的召回率與準確率的曲線

總結

本文提出了一種低分辨率激光雷達點云三維目標檢測框架。通過在目標檢測器之前級聯一個深度優化網絡，它首先將稀疏點云轉換成一個更密集的深度圖，然后對該深度圖進行處理以進行三維目標檢測。它使目標檢測成為可能，從一個稀疏的，低成本的激光雷達通過融合圖像捕獲的相機。當在KITTI數據集上進行評估時，該網絡可以在近距離和中等距離的情況下達到與使用高分辨率點云相當的目標檢測精度。

資源

三維點云論文及相關應用分享

【點云論文速讀】基于激光雷達的里程計及3D點云地圖中的定位方法

3D目標檢測：MV3D-Net

三維點云分割綜述（上）

3D-MiniNet: 從點云中學習2D表示以實現快速有效的3D LIDAR語義分割（2020）

win下使用QT添加VTK插件實現點云可視化GUI

JSNet：3D點云的聯合實例和語義分割

大場景三維點云的語義分割綜述

PCL中outofcore模塊---基于核外八叉樹的大規模點云的顯示

基于局部凹凸性進行目標分割

基于三維卷積神經網絡的點云標記

點云的超體素(SuperVoxel)

基于超點圖的大規模點云分割

更多文章可查看：點云學習歷史文章大匯總

SLAM及AR相關分享

【開源方案共享】ORB-SLAM3開源啦！

【論文速讀】AVP-SLAM：自動泊車系統中的語義SLAM

【點云論文速讀】StructSLAM:結構化線特征SLAM

SLAM和AR綜述

常用的3D深度相機

AR設備單目視覺慣導SLAM算法綜述與評價

SLAM綜述(4)激光與視覺融合SLAM

Kimera實時重建的語義SLAM系統

SLAM綜述(3)-視覺與慣導，視覺與深度學習SLAM

易擴展的SLAM框架-OpenVSLAM

高翔：非結構化道路激光SLAM中的挑戰

SLAM綜述之Lidar SLAM

基于魚眼相機的SLAM方法介紹

如果你對本文感興趣，請后臺發送“知識星球”獲取二維碼，務必按照“姓名+學校/公司+研究方向”備注加入免費知識星球，免費下載pdf文檔，和更多熱愛分享的小伙伴一起交流吧！

以上內容如有錯誤請留言評論，歡迎指正交流。如有侵權，請聯系刪除

掃描二維碼

? ? ? ? ? ? ? ? ? ?關注我們

讓我們一起分享一起學習吧！期待有想法，樂于分享的小伙伴加入免費星球注入愛分享的新鮮活力。分享的主題包含但不限于三維視覺，點云，高精地圖，自動駕駛，以及機器人等相關的領域。

分享及合作方式：微信“920177957”（需要按要求備注） 聯系郵箱：dianyunpcl@163.com，歡迎企業來聯系公眾號展開合作。

點一下“在看”你會更好看耶

總結

以上是生活随笔為你收集整理的基于相机和低分辨率激光雷达的三维车辆检测的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。