文章：Online Extrinsic Camera Calibration for Temporally Consistent IPM Using Lane Boundary Observations with a Lane Width Prior

作者：Jeong-Kyun Lee, Young-Ki Baik, Hankyu Cho, and Seungwoo Yoo

編譯：點云PCL

本文僅做學術分享，如有侵權，請聯系刪除。歡迎各位加入免費知識星球，獲取PDF論文，歡迎轉發朋友圈。內容如有錯誤歡迎評論留言，未經允許請勿轉載！

公眾號致力于分享點云處理，SLAM，三維視覺，高精地圖相關的文章與技術，歡迎各位加入我們，一起每交流一起進步,有興趣的可聯系微信：920177957。本文來自點云PCL博主的分享，未經作者允許請勿轉載，歡迎各位同學積極分享和交流。

摘要

本文提出了一種對相機的在線外參標定的方法，即在連續的駕駛場景圖像中，從路面信息估計俯仰角、偏航角、橫滾角和攝像機高度。該方法分兩步估計相機的外部參數：

1）利用一組車道線觀測值計算的消失點同時估計俯仰角和偏航角；

2）通過最小化車道寬度觀測值和車道寬度先驗值之間的差異來計算橫滾角和攝像機高度。利用擴展卡爾曼濾波（EKF）對攝像機外部參數進行連續更新，最后利用逆透視映射（IPM）生成時間一致的鳥瞰圖（BEV）。該文章證明了該方法在合成和真實數據集上的優越性。

介紹

近年來，隨著先進的駕駛輔助系統（ADAS）和自動駕駛（AD）的應用，基于相機的視覺感知的研究得到了廣泛的應用。許多研究主要集中在從前置攝像頭采集的輸入圖像中檢測相鄰物體和駕駛環境，如車道邊界檢測、交通標志檢測、目標檢測與跟蹤等。特別是對于路面標志線，主要采用逆透視映射（IPM），因為它們受攝像機透視失真的影響更大。給定攝像機與路面的幾何關系，即攝像機的外部參數，可以將輸入圖像轉換為鳥瞰圖像，從而保持路面標線的實際形狀，提高檢測性能。此外，在單目相機系統中，外部相機參數被廣泛用于估計目標的距離，并通過生成增強的特征來提高目標檢測的性能。

對于單目相機的外參的標定，可利用在駕駛場景中連續的圖像序列進行在線外部相機標定。他們使用視覺里程計或車道邊界消失點（VP）估計的相機運動來更新相機的外參數，并生成顯示平行車道邊界的BEV圖像。然而，這些工作并沒有糾正所有的外在相機參數。它們只更新俯仰角和偏航角，因此，當橫滾角和相機高度發生變化時，它們仍然可以生成BEV圖像，但是路面波動和比例（如車道寬度和對象之間的距離）不一致。

本文提出了一種在線非本征相機標定方法，該方法可以估計連續駕駛場景圖像中俯仰角、偏航角、橫滾角和攝像機離路面高度等幾何關系。據我們所知，這是第一個以在線方式同時計算所有四個外部相機參數的工作。該方法分兩個階段估計攝像機的外參：

1）俯仰角和偏航角，

2）橫滾角和攝像機高度。

俯仰角和偏航角是使用一組車道邊界觀測值計算的VP同時估計的。然后，給定車道寬度作為先驗，通過最小化車道寬度觀測值和先驗車道寬度之間的差異來計算橫滾角和攝像機高度。所提出的方法使用擴展卡爾曼濾波（EKF）更新序列圖像中相機的外參，以便產生如圖1（c）所示的時間一致的IPM結果。

圖1 這是一個改進的例子，我們的在線外參標定的駕駛場景圖像（a），

(b） 和（c）分別是應用我們的方法之前和之后利用相機外參通過IPM獲得的BEV圖像。

主要內容

我們提出了一種在線的相機外參標定方法，即從路面估計俯仰角、偏航角、橫滾角和相機機高度，從而產生時間一致的IPM結果。我們假設攝像機是知道內參，路面是平坦的，路面上所有的車道邊界是平行的，并且車道寬度與之前的車道寬度相同。

圖2示出了所提出的方法的整體過程。首先，我們使用基于完全卷積網絡的分割模型從輸入圖像中提取車道邊界觀測值。由于平行車道邊界的VP只依賴于俯仰角和偏航角，并且對橫滾角和攝像機高度的變化是不變的，因此我們從一組平行車道邊界中找到一個VP，并使用VP（消失點）估計俯仰角和偏航角。然后，我們計算橫滾角和攝像機高度，使車道寬度觀測值和作為先驗。最后，利用更新后的相機的外參計算IPM。

圖2 本文提出的方案的流程

俯仰和偏航角估計

如論文中所述，我們將俯仰角和偏航角估計轉換為尋找攝像機和路面上平行車道邊界的VP之間的旋轉關系，如圖3所示。

圖3 ?俯仰和偏航角估計? ? (a）相機和世界坐標系，(b） 和（c）分別是俯仰角和偏航角的定義。

C和W分別表示相機坐標系和世界坐標系。讓我們將W世界坐標系的z軸定義為VP的方向，即VD（消失點方向）。然后，俯仰角和偏航角可以定義為如圖3（b）和圖3（c）所示的攝像機的前進方向和VD之間的角。這里采用了基于高斯球理論和RANSAC的魯棒VP估計方法，因為車道邊界觀測可能有噪聲。利用VP對俯仰角和偏航角進行初始化后，利用EKF對序列圖像進行估計。

高斯球

在針孔相機模型中，以相機主點為中心的單位球稱為高斯球。如圖4所示，一個大圓是圖3（a）（b）（c）的交點。俯仰和偏航角估計(a） 相機和世界坐標系(b） 和（c）分別是俯仰角和偏航角的定義。圖4。描述高斯球和高斯球平面上的一條直線所確定的圖像和主點。當平行線投影到像面上時在VP處相交，平行線對應的大圓在高斯球面上有一個交點，從主點到交點的方向變為VD。VD是由所有大圓法線（NGCs）確定的平面法向量，我們稱之為NGC-VD正交性。正交性與圖像平面中的線VP入射相同，即圖像平面中的平行線入射到VP

圖4 高斯球的描述

消失點估計

估計我們假設一組表示車道邊界的線是給定的。該集合通常包含一些噪聲線或離群點，因此我們使用RANSAC過濾掉離群點，然后估計對噪聲線魯棒的VP。當給定一組線段L時，RANSAC過程可描述為算法1。

俯仰和偏航角初始化

俯仰角和偏航角用θ 以及φ, 分別。由俯仰角和偏航角計算的旋轉矩陣，即從世界坐標到相機坐標的變換矩陣，用RCW表示(θ, φ) 世界坐標系W中z軸的方向向量用dWZ=[0，0，1]>表示。那么dWZ和v有如下關系

我們可以將旋轉矩陣分解為兩個旋轉矩陣，矩陣θ 以及φ 如下所示。

其中cθ 和sθ (cφ 和sφ) 是余弦和正弦函數θ (φ). 那么θ 以及φ 從v初始化。如下所示。

基于EKF的俯仰角和偏航角估計

我們使用EKF來估計圖像序列中的俯仰角和偏航角。采用恒角速度模型來模擬駕駛過程中俯仰角和偏航角的變化。因此，用于俯仰和偏航角估計的狀態向量X_py和系統模型f_py被定義為

橫滾角和攝像機高度估計

由于投影特性和觀測車道邊界與攝像機外參數之間的非線性幾何關系所產生的幾何信息不足，利用車道邊界的二維投影作為觀測值標定橫滾角和攝像機高度的方法更加復雜。為了簡化，我們假設俯仰角和偏航角已經進行了修正。然后，可以將橫滾角和攝像機高度估計視為計算其在xy平面上的近似值，如圖6所示。通過將路面和l線投影到xy平面上，可以估計出路面與直線交點之間的距離應等于wp之前車道寬度的橫滾角和攝影機高度值。

圖6 橫滾角和相機高度估計。（a） 橫滾角和相機高度的定義。（b） 車道寬度的定義。（c） 線角度的定義。

主要有兩步：

A 橫滾角和相機高度初始化

B?基于EKF的滾動角和相機高度估計

逆透視變換

最后時間一致的IPM是可能的與相機外參數估計θ, φ, ψ, 和h。從攝像機坐標到世界（或地面）坐標的單應矩陣hwc計算如下。

其中aX和aZ是決定BEV圖像分辨率的尺度參數，bX和bZ是世界坐標系中X軸和Z軸的尺寸參數，Rri是矩陣R的第i行(θ, φ, ψ) 計算公式為

實驗

a） 車道邊界檢測：為了獲得車道邊界觀測，這里采用了基于完全卷積網絡的分割模型。分割模型在每個語義車道邊界都有自己的類的情況下進行多類分割。我們使用ResNet-18作為骨干，并采用標準SGD方法進行訓練，并具有交叉熵損失。如圖7所示，分割模型通過生成每個語義車道的像素概率圖來提供每個語義車道邊界實例。然后，對于概率大于0.5的每個車道邊界，我們通過搜索像素上的平均位置，然后采樣代表點以供下次使用來提取頂點。

圖7 分割模型的結果。
（a） 輸入圖像。
（b） 分割模型輸出，其中每個顏色表示每個語義車道邊界實例。

圖8 在線非本征攝像機標定結果沒有車道邊界檢測的合成場景中的噪聲σ2 = 1. 左右圖分別顯示了該方法產生的輸入圖像和它們的BEV圖像

b） 數據集：使用圖8和圖9的多個合成和真實世界數據集來評估所提出的方法。

我們在真實場景中在線外參標定的結果。在每個三組圖像中，上、左下和右下圖像分別顯示輸入圖像、基于給定外部相機參數的BEV圖像和基于所提出方法更新的BEV圖像。在輸入圖像中，紅色頂點和綠色線來自車道邊界檢測。

綜合數據集中的評估

表一顯示了在合成數據集中評估的結果。rmse與噪聲方差成比例增加，但旋轉角度和相機高度估計的rmse分別小于0.2度和2厘米，即使在存在嚴重噪聲的情況下σ 2=9像素。此外，該方法生成的兩幀BEV圖像在時間上是一致的，盡管存在運動變化和噪聲。總之，該方法在合成數據集上表現良好。

總結

本文提出了一種基于車道寬度先驗知識的基于車道邊界觀測的非本征攝像機在線標定方法。該方法分兩步估計攝像機與路面的幾何關系，即首先估計基于VP的俯仰角和偏航角，然后基于車道寬度的一致性，利用前一步的俯仰角和偏航角估計側傾角和攝像機高度。通過EKF，我們的方法最終得到了波動較小、車道寬度相等的時間一致的BEV圖像。

資源

三維點云論文及相關應用分享

【點云論文速讀】基于激光雷達的里程計及3D點云地圖中的定位方法

3D目標檢測：MV3D-Net

三維點云分割綜述（上）

3D-MiniNet: 從點云中學習2D表示以實現快速有效的3D LIDAR語義分割（2020）

win下使用QT添加VTK插件實現點云可視化GUI

JSNet：3D點云的聯合實例和語義分割

大場景三維點云的語義分割綜述

PCL中outofcore模塊---基于核外八叉樹的大規模點云的顯示

基于局部凹凸性進行目標分割

基于三維卷積神經網絡的點云標記

點云的超體素(SuperVoxel)

基于超點圖的大規模點云分割

更多文章可查看：點云學習歷史文章大匯總

SLAM及AR相關分享

【開源方案共享】ORB-SLAM3開源啦！

【論文速讀】AVP-SLAM：自動泊車系統中的語義SLAM

【點云論文速讀】StructSLAM:結構化線特征SLAM

SLAM和AR綜述

常用的3D深度相機

AR設備單目視覺慣導SLAM算法綜述與評價

SLAM綜述(4)激光與視覺融合SLAM

Kimera實時重建的語義SLAM系統

SLAM綜述(3)-視覺與慣導，視覺與深度學習SLAM

易擴展的SLAM框架-OpenVSLAM

高翔：非結構化道路激光SLAM中的挑戰

SLAM綜述之Lidar SLAM

基于魚眼相機的SLAM方法介紹

如果你對本文感興趣，請后臺發送“知識星球”獲取二維碼，務必按照“姓名+學校/公司+研究方向”備注加入免費知識星球，免費下載pdf文檔，和更多熱愛分享的小伙伴一起交流吧！

以上內容如有錯誤請留言評論，歡迎指正交流。如有侵權，請聯系刪除

掃描二維碼

? ? ? ? ? ? ? ? ? ?關注我們

讓我們一起分享一起學習吧！期待有想法，樂于分享的小伙伴加入免費星球注入愛分享的新鮮活力。分享的主題包含但不限于三維視覺，點云，高精地圖，自動駕駛，以及機器人等相關的領域。

分享及合作方式：微信“920177957”（需要按要求備注） 聯系郵箱：dianyunpcl@163.com，歡迎企業來聯系公眾號展開合作。

點一下“在看”你會更好看耶

總結

以上是生活随笔為你收集整理的基于先验时间一致性车道线的IPM相机外参标定的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。