Waymo研发经理：《自动驾驶感知前沿技术介绍》
Waymo研發(fā)經(jīng)理|自動駕駛感知前沿技術(shù)介紹
這是Waymo研發(fā)經(jīng)理（VoxelNet作者）的一個最新分享報告：《自動駕駛感知前沿技術(shù)介紹》。在這份報告里，介紹了Waymo在自動駕駛感知中五個研究方向的最新成果。
1. Overview of the autonomous driving system
報告首先是無人駕駛系統(tǒng)的介紹，作者以Waymo第四代無人車系統(tǒng)為例。輸入為各種感知系統(tǒng)（視覺、激光雷達、毫米波雷達系統(tǒng)及提前收集好的地圖等），通過模塊化或端到端處理（如深度神經(jīng)網(wǎng)絡(luò)），輸出為無人車控制命令（方向盤轉(zhuǎn)角和汽車加速度）。
下圖為主流的無人車模塊化設(shè)計。輸入模塊為采集好的地圖和各種傳感器信號；定位模塊根據(jù)地圖和傳感器信號給出當前無人車所在位置；感知模塊對定位模塊輸出、傳感器信號和地圖信息做感知處理，然后將感知結(jié)果發(fā)送給行為預(yù)測（BP）模塊，最后規(guī)劃模塊根據(jù)感知、行為預(yù)測以及定位結(jié)果給出汽車的控制命令，控制模塊執(zhí)行控制命令。
2. Introduction to perception
下圖是感知模塊介紹，感知模塊輸入為傳感器數(shù)據(jù)（攝像頭、激光雷達、毫米波雷達）和高精地圖，輸出為環(huán)境表示。
下圖是自動駕駛環(huán)境感知中六個主要研究方向：目標檢測和追蹤（根據(jù)激光雷達點云數(shù)據(jù)估計目標的位置、大小和方向）；語義分割（給圖像中每個像素分配一個類別）；Flow（估計圖像中的像素和點云中的每個點下一時刻的運動）；深度估計（判斷圖像中每個像素的深度）；行人位置估計（估計行人運動，主要是行人關(guān)節(jié)運動估計）；高精度地圖（根據(jù)各種傳感器輸入建立高精度地圖）。
3. New frontiers in scalable perception
下圖是感知中Scalability的五個方向：模型泛化能力（模型在不同天氣、城市和長尾問題的泛化能力）；Quality（模型的檢測性能）；模型的計算效率（內(nèi)存和計算速度）；自動標注（替代人工標注）；仿真數(shù)據(jù)生成或數(shù)據(jù)壓縮。其中Generalization，Quality，Computational Efficency屬于線上模型，而Data Flexibility，Labeling Automation屬于線下模型。
下面作者將根據(jù)以上五個方向介紹Waymo的最新研究成果。
3.1 Generalization
這是一篇通過語義點云生成的進行無監(jiān)督域自適應(yīng)3D物體檢測論文。論文中作者設(shè)計了一個SPG模塊，可以根據(jù)物體的原始點云（即使在遮擋或雨天環(huán)境下）生成語義點云，復(fù)原物體形狀；然后將原始點云與生成的語義點云融合得到增強點云，最后通過一個流行的3D物體檢測器進行物體檢測。無論是在target domain 還是 source domain，作者設(shè)計的SPG模塊都極大的提高了3D物體檢測器的檢測性能。
下面是論文想要解決的問題，在雨天或遮擋情況下，點云質(zhì)量下降很厲害，從而影響最終的檢測結(jié)果。
本文的核心思想是：在3D物體檢測之前，還原物體形狀。
SPG模塊主要做兩件事：3D分割和前景形狀還原。首先將點云數(shù)據(jù)劃分為一個個voxel，判斷每個voxel是否屬于前景voxel，然后則在每個前景voxel中生成語義點云，還原物體形狀。
SPG的pipeline如下圖所示，實驗發(fā)現(xiàn)，只要多增加5%的原始點云，就能多獲得500%的前景點云。
下面是在Waymo Domain Adaptation Dataset和KITTI數(shù)據(jù)集上的檢測結(jié)果。
下面是是在遮擋，遠距離物體或大物體上的可視化檢測結(jié)果。
3.2 Quality
這是一篇通過使用注意力網(wǎng)絡(luò)融合多幀點云信息進行物體檢測的方法，與SPG在輸入端提高點云質(zhì)量不同，3D-MAN是在輸出端將當前幀與歷史幀proposals feature相結(jié)合來提高檢測結(jié)果。
本文的核心思想是使用同一個主干網(wǎng)（如Pointpillars）對當前幀和歷史幀提取Proposal特征，然后使用注意力模塊來優(yōu)化Proposal，最終得到一個更好的檢測結(jié)果。
論文處理框架如下圖所示：
- 在第一階段，使用一個高效的檢測器對當前幀輸入生成proposal和feature，同時將當前幀與歷史幀的proposal和feature存儲起來。
- 在第二階段，注意力模塊首先對當前幀和歷史幀的proposal進行alignment操作，然后對不同幀的feature進行aggregation，最終得到檢測結(jié)果。
下面是在Waymo Open Dataset數(shù)據(jù)集上的檢測結(jié)果。
3.3 Computational Efficency
這篇論文通過在waymo數(shù)據(jù)range images上首先使用2D卷積選取物體的前景點，然后對被選取的前景點云進行稀疏卷積操作。通過結(jié)合range images上提取的特征，不僅提高了3D物體檢測性能，而且還達到了60幀每秒的檢測效率。
由于點云的稀疏性，之前的檢測方法（PointPillar和PV-RCNN）只考慮Occupancy Sparsity，判斷劃分的Voxel是否為空；而本文則是最大化算法的檢測效率，內(nèi)存使用，考慮的是Semantic Sparsity，即判斷劃分的Voxel是否為前景Voxel。
算法結(jié)構(gòu)如下，輸入為range images，這是將點云轉(zhuǎn)換成圖像形式；通過分割模塊分割出前景點，同時提取前景點feature；然后進行Sparse Feature Extraxction，最后是Box回歸得到proposal。
下面是在Waymo Open Dataset數(shù)據(jù)集上的檢測結(jié)果。
3.4 Labeling Automation
作者首先介紹了線上模型和線下模型開發(fā)的區(qū)別。
這是一篇用于自動標注的3D物體檢測方法，檢測效果達到了人類標注的性能，作者首先解釋了自動標注的重要性。
論文核心思想是：在不同時刻會看到物體不同視角的形狀，將不同時刻物體的點匯集起來能夠更準確地估計物體的形狀和尺寸。
下面是一輛mini-van的不同幀數(shù)物體點匯集起來的樣子，幀數(shù)越多，估計出來的形狀更完整。
下面是算法的pipeline，首先是對點云序列每一幀進行檢測，接著是多物體追蹤，然后是同一追蹤物體的點云數(shù)據(jù)提取，這里將物體分為靜態(tài)和動態(tài)來進行標注。
下面是在Waymo Open Dataset數(shù)據(jù)集上的檢測結(jié)果。需要說明的是，IoU=0.8為人工標注時的標準。
3.5 Data Flexibility
在這篇論文中，通過收集來的傳感器數(shù)據(jù)來生成逼真的圖像數(shù)據(jù)，重建3D World；同時生成的數(shù)據(jù)也可以用于仿真測試。
下面是具體的實際應(yīng)用：不同視角和不同場景合成。
總結(jié)
以上是生活随笔為你收集整理的Waymo研发经理：《自动驾驶感知前沿技术介绍》的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： kodorjan.exe进程有什么用 是
- 下一篇： kpf4gui.exe是什么进程 有什么