文章：A Survey of Calibration Methods for Optical?See-Through Head-Mounted Displays

作者：Jens Grubert , Yuta Itoh, Kenneth Moser

編譯：點云PCL

本文僅做學術分享，如有侵權，請聯系刪除。歡迎各位加入免費知識星球，獲取PDF論文，歡迎轉發朋友圈。內容如有錯誤歡迎評論留言，未經允許請勿轉載！

公眾號致力于分享點云處理，SLAM，三維視覺，高精地圖相關的文章與技術，歡迎各位加入我們，一起每交流一起進步,有興趣的可聯系微信：920177957。本文來自點云PCL博主的分享，未經作者允許請勿轉載，歡迎各位同學積極分享和交流。

摘要

頭戴式顯示器（OST-hmd）是虛擬增強現實的主要顯示方式，由于面向消費者的產品（如Microsoft Hololens）的不斷發布，增強現實在普通公眾中的普及和使用率顯著增長。與虛擬現實耳機不同，OST-hmd本質上支持將計算機生成的圖形直接添加到用戶眼睛和用戶眼中的物理世界的視圖之中。與大多數虛擬增強和虛擬現實系統一樣，OST-HMD的物理位置通常由外部或嵌入式6自由度跟蹤系統確定。為了正確地呈現被認為在空間上與物理環境對齊的虛擬對象，還需要精確地測量用戶眼睛在跟蹤系統的坐標系中的位置。

20多年來，研究人員提出了各種各樣的標定方法來確定穿戴者的眼睛位置。然而，到目前為止，還沒有全面概述這些程序及其要求。因此，本文對OST-hmd的標定方法進行了綜述。具體來說，它提供了對標定技術的基本原理的見解，并概述了手動和自動標定的方法，以及評估方法和度量。最后，探討了未來研究的可能性。

SPAAM方法中的數據收集。左：單個2D點uk與3D點xk手動對齊。中間：通過OST-HMD將虛擬的2D十字線與3D跟蹤標記對齊的自我中心視圖。右：綠色虛擬正方形覆蓋在校準前后的物理標記上。

介紹

增強現實（AR）是一種交互式的、實時的技術，它讓用戶感覺到虛擬增強現實（AR）是一種交互式的、實時的、存在于現實世界中的物體。例如，用戶可能會看到一個虛擬玻璃杯放在在桌面上的真實的玻璃杯旁邊。AR的一個主要目標是使虛擬的玻璃杯的位置看起來與真實的玻璃杯一樣真實、可靠和可信。本文將這一概念稱為 locational realism。這里對比了位置真實感和更廣為人知的術語 photorealism，這種傳統的計算機圖形學的目標渲染對象和真實場景的物體是視覺上無法區分的。

在AR中，主要目標可能不是以照片級真實感渲染玻璃杯，但我們通常對玻璃杯的真實位置感興趣，雖然它可能明顯是卡通玻璃，具有不正確的照明和顏色，但我們仍然希望其位置能夠以與真實玻璃杯以無法區分的方式被感知。

為了實現任意程度的位置真實感，AR系統必須知道6自由度（6DoF）姿勢，即渲染虛擬相機在物理世界中的位置（x、y、z）和方向（滾動、俯仰、偏航）。根據這些信息，系統可以確定在相應的3D位置顯示虛擬對象需要哪些2D屏幕像素。這個姿勢越準確，位置的真實感就越強。渲染相機的姿勢通常使用跟蹤系統測量，為了報告準確的姿勢估計，需要對其進行校準。跟蹤系統可以直接使用AR系統內的物理攝像機；或者，跟蹤系統跟蹤連接到AR系統的基準點。在這種情況下，即使跟蹤系統需要AR系統反饋渲染相機的姿勢，跟蹤器也會反饋基準點的姿勢，但是這導致了需要執行二次校準的附加要求，這產生了跟蹤基準點和渲染相機之間的轉換。

另外，有兩種主要的顯示AR內容的方法。在視頻的透視AR（VST-AR）系統中，用戶通過AR系統中的相機看到物理世界。系統接收來自真實世界的恒定圖像幀流，并將虛擬內容組合到這些圖像幀中，VST-AR可以與標準視頻監視器、手持設備（如平板電腦或手機）以及不透明的VR頭戴式顯示器（也稱為混合現實（MR）顯示器）一起使用。相比之下，光學透視 AR（OST-AR）直接向用戶提供物理世界的視圖，而虛擬對象則通過光學組合器同時施加到用戶的視圖中。OST-AR幾乎都是通過頭戴式顯示器來完成的，盡管顯微鏡和其他光學設備也是可能的，雖然這兩種AR形式都有各自的優點和缺點以及各種應用，但本文的重點是OST-AR，雖然在VST AR中，可以使用一個相機同時用于視頻流和跟蹤相機，但這在OST-AR中是不可能的，因為“視頻流”來自用戶的眼睛。相反，在OST-AR中，跟蹤頭戴式顯示器的姿勢，AR系統需要知道顯示器和用戶眼睛之間的轉換。因此，在OST-AR中，標定程序始終是必要的，本文調查并總結了截至2017年9月發布的校準程序，首先，它概述了頭戴式OST-AR顯示器的標定的基礎。然后介紹了標定方法的概述，按手動、半自動和自動方法分類。接下來，討論如何評估這些標定方法以及如何進行度量和分析。最后，本文討論了未來研究的可能性。

頭戴式OST AR顯示器標定的基礎

命名方法

通過本文使用以下術語，小寫字母表示標量值，例如焦距fu。大寫字母表示坐標系，例如眼睛坐標系E。小寫粗體字母表示向量，例如眼睛坐標系x_E 屬于R3中的3D點，或2D圖像點u屬于R2。大寫字母表示矩陣，例如旋轉矩陣R屬于R3×3。我們現在定義一個從一個坐標系到另一個坐標系的6自由度變換。給定坐標系A和B，定義A到B的變換（abr；abt），其中abr是旋轉矩陣，abt是平移向量。例如，我們可以通過

軸外的針孔相機模型

在計算機視覺中，內參矩陣k屬于R3×3,定義了從三維坐標空間到二維坐標空間的投影變換。該矩陣的元素描述了針孔相機的特性。如果讀者希望獲得一個完整且透徹的理解投影背后的物理和數學原理，請閱讀引用的出版書籍。然而，這里我們提供一個簡短的概述，目的是提高讀者對eye-HMD轉換的理解。eye-HMD系統通常被建模為軸外針孔相機。我們將其內在矩陣定義為：

E^K的參數直接針孔相機模型。焦距fu和fv表示成像平面和相機中心之間的距離。在理想的針孔相機模型中，方程（2）中的fu和fv分量是相同的，這意味著圖像的像素是完全正方形的。例如，給定眼睛坐標系xE中的3D點，該點被投影到HMD屏幕空間S中的2D點u_S

圖1 軸外針孔相機模型的y-z平面。

圖2：圖像平面的三維表示，以及針孔相機模型的相關固有特性。

在實踐中，我們首先在HMD坐標系中獲得世界坐標系下的x_E作為3D點x_H。因此，我們首先通過

其中，旋轉矩陣HER屬于 R3×3和平移向量HEt 屬于R3，表示從附在頭盔顯示器上的顯示器坐標系H到用戶眼睛坐標系E的變換。通過將該變換集成到相機模型EK中，我們得到3×4投影矩陣HEP，從顯示器（HMD）坐標到用戶眼睛坐標:?

下圖這些坐標系的一個圖示（個人理解：就是說傳統的針孔相機下的圖像坐標系的中心為透過屏幕上光心的中點，而AR設備中將圖像坐標系分解成成像坐標系和顯示坐標系，因為設備中的屏幕坐標系和成像坐標系不再是同一個坐標系了）

頭盔顯示器的坐標系通常由一個內向外看的相機或一個外向外看的跟蹤系統來定義，該系統決定了一個虛擬人的姿態。

因此，所有標定方法必須能夠產生HEP，或者一次求解所有矩陣分量，或者系統地確定方程（5）中的參數。通常，當一次求解HEP的所有分量時，最常用的方法是直接線性變換（DLT）。該方法通過求解一個由最少6個3D-2D對應關系構成的線性方程來估計HEP。給定線性解作為初始估計，然后可以應用非線性優化方法，如Levenberg-Marquardt。

自動校準方法

本節介紹了工作人員完全不必手動操作的標定方法。下表的底部總結了這些方法。

Luo等人為類似眼鏡的OST HMD開發了一種軸上相機模型，理論上無需手動校準。然而，由于光學設計的小尺寸，相機必須放置在用戶眼睛位置后面20毫米處，這可能導致近距離的配準錯誤。

在2007年，Priese等人在進行了初步的校準之后，提出了使用眼球跟蹤來估計眼球位置的方法。然而，他們只使用眼睛的靜態圖像來測試了他們的方法，并沒有用實際用戶來驗證系統。

Figl等人提出了一種使用全自動配置（包括用于改變校準模式距離的步進電機）確定雙目醫療頭盔（Varioscope M5）焦距和眼睛位置的方法。

2014年，Itoh和Klinger提出了無交互顯示校準（INDICA）方法，該方法利用安裝在OST頭盔顯示器上的眼動跟蹤器，他們的方法在線測量眼睛中心并自動生成投影矩陣。使用與SPAAM相同的針孔相機模型，顯示參數從投影矩陣中分解，投影矩陣是從預先離線執行的SPAAM校準中獲得的。他們的后續工作評估了INDICA，通過攝像頭離線校準顯示參數，這意味著該方法完全不需要額外的用戶輸入。

對于每個方法，下圖給出了一個關鍵的縮略圖。

在之前的章節中，提到SPAAM2的假設導致了不同的解釋。基于這個假設，我們得到

其中EK0表示縮放和位移參數。這意味著SPAAM2將屏幕參數矩陣重新定義為EK0 EK。由于屏幕參數應該保持不變，這種解釋是不正確的。SPAAM2的一個隱含假設是只有眼睛中心位置改變，三個參數E0t可以通過兩個2D-3D數據對應來估計。

模型總結

眼睛模型

Plopski等人提出了另一種自動化方法：角膜成像校準（CIC）。與INDICA不同，CIC使用基于虹膜的方法進行眼睛跟蹤，CIC通過利用圖像在用戶眼睛角膜上的反射來估計眼睛位置，這種效果稱為角膜反射。

在CIC中，一個基準模式顯示在HMD屏幕上，眼睛攝像頭捕捉到它的角膜反射，CIC然后計算反射在眼角膜上的光線并通過相應的顯示像素，給定顯示器在HMD坐標系下的三維姿態、雙環眼模型下角膜球的直徑和最少兩條光線，該方法計算眼球角膜球的位置，然后，給定眼球旋轉時的三個角膜球位置，CIC估計眼球的3D中心。這種基于反射特征和眼睛結構簡化模型的眼睛位置估計，比直接虹膜檢測產生更精確的三維定位估計。

然而，INDICA和CIC使用的3D眼睛模型可以改進。該模型假設眼球可以被示意性地建模為兩個相交的三維球體，其中第一個球體建模眼球的球形部分（包括鞏膜），第二個球體建模角膜曲率。在這個模型下，人眼相機的光學中心假設位于鞏膜（眼球）球體的中心。然而，眼睛的節點——光線穿過瞳孔的交叉點——是光學眼睛中心更合適的位置。

顯示器模型

到目前為止，提到的大多數方法都將OST-HMD的圖像屏幕視為平面面板，然而，這個模型忽略了這樣一個事實，即光學組合系統可以在入射光線到達眼睛之前對其進行扭曲，其方式類似于矯正眼鏡。這種失真既可以影響顯示器的虛擬圖像（增強視圖），也可以影響通過組合光學器件看到的真實世界的視圖（直接視圖）。為了校正增強視圖，Lee和Hua提出了一種基于攝像機的校正方法，即在屏幕圖像空間學習校正的2D畸變圖，為了校正直視。

Itoh和Klinger提出將畸變建模為穿過光學元件的4D光線束（光場）的偏移，然后估計原始光場和畸變光場之間的4D到4D映射。因為它使用光場，這種方法可以處理視點相關的失真。

Itoh和Klinger接著擴展了這種方法來校正增強視圖的扭曲。他們用OST-HMD進行的評估顯示，去除直接視野和增強視野畸變可以提供與20/50視力相當的整體配準精度。除了Itoh和Klinger提出的失真估計之外，進一步提出了OST頭盔的視相關色差（點擴散函數）建模。該方法將圖像模糊建模為4D到4D畸變映射中的高斯函數，并通過測量不同視角下顯示器的脈沖響應來估計圖像模糊。

顯然，自動校準方法是OST-hmd的未來。除了使操作人員不必手動執行校準程序外，自動方法還可以以閉環方式操作，不斷調整校準，從而校正用戶頭上的頭盔顯示器的微小移動。此外，將眼睛跟蹤器集成到OST-HMD中允許許多有用的交互技術，例如基于注視的交互，并且還允許優化的渲染方法，例如中心凹渲染。然而，正如所討論的，自動校準方法仍然面臨挑戰，特別是涉及眼睛模型和顯示模型。

資源

三維點云論文及相關應用分享

【點云論文速讀】基于激光雷達的里程計及3D點云地圖中的定位方法

3D目標檢測：MV3D-Net

三維點云分割綜述（上）

3D-MiniNet: 從點云中學習2D表示以實現快速有效的3D LIDAR語義分割（2020）

win下使用QT添加VTK插件實現點云可視化GUI

JSNet：3D點云的聯合實例和語義分割

大場景三維點云的語義分割綜述

PCL中outofcore模塊---基于核外八叉樹的大規模點云的顯示

基于局部凹凸性進行目標分割

基于三維卷積神經網絡的點云標記

點云的超體素(SuperVoxel)

基于超點圖的大規模點云分割

更多文章可查看：點云學習歷史文章大匯總

SLAM及AR相關分享

【開源方案共享】ORB-SLAM3開源啦！

【論文速讀】AVP-SLAM：自動泊車系統中的語義SLAM

【點云論文速讀】StructSLAM:結構化線特征SLAM

SLAM和AR綜述

常用的3D深度相機

AR設備單目視覺慣導SLAM算法綜述與評價

SLAM綜述(4)激光與視覺融合SLAM

Kimera實時重建的語義SLAM系統

SLAM綜述(3)-視覺與慣導，視覺與深度學習SLAM

易擴展的SLAM框架-OpenVSLAM

高翔：非結構化道路激光SLAM中的挑戰

SLAM綜述之Lidar SLAM

基于魚眼相機的SLAM方法介紹

往期線上分享錄播匯總

第一期B站錄播之三維模型檢索技術

第二期B站錄播之深度學習在3D場景中的應用

第三期B站錄播之CMake進階學習

第四期B站錄播之點云物體及六自由度姿態估計

第五期B站錄播之點云深度學習語義分割拓展

第六期B站錄播之Pointnetlk解讀

[線上分享錄播]點云配準概述及其在激光SLAM中的應用

[線上分享錄播]cloudcompare插件開發

[線上分享錄播]基于點云數據的?Mesh重建與處理

[線上分享錄播]機器人力反饋遙操作技術及機器人視覺分享

[線上分享錄播]地面點云配準與機載點云航帶平差

如果你對本文感興趣，請后臺發送“知識星球”獲取二維碼，務必按照“姓名+學校/公司+研究方向”備注加入免費知識星球，免費下載pdf文檔，和更多熱愛分享的小伙伴一起交流吧！

以上內容如有錯誤請留言評論，歡迎指正交流。如有侵權，請聯系刪除

掃描二維碼

? ? ? ? ? ? ? ? ? ?關注我們

讓我們一起分享一起學習吧！期待有想法，樂于分享的小伙伴加入免費星球注入愛分享的新鮮活力。分享的主題包含但不限于三維視覺，點云，高精地圖，自動駕駛，以及機器人等相關的領域。

分享及合作方式：微信“920177957”（需要按要求備注） 聯系郵箱：dianyunpcl@163.com，歡迎企業來聯系公眾號展開合作。

點一下“在看”你會更好看耶

總結

以上是生活随笔為你收集整理的头戴式AR/VR 光学标定的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。