• 作者簡介： 古鑒，于2015年加入暴風(fēng)魔鏡，負(fù)責(zé) AR 類產(chǎn)品及交互技術(shù)的研發(fā)工作。
  方維，主要從事計(jì)算機(jī)視覺和 AR 相關(guān)的跟蹤定位研究。
• 本文為作者投稿，版權(quán)歸原作者所有，非經(jīng)作者同意，請(qǐng)勿轉(zhuǎn)載。歡迎技術(shù)投稿、約稿、給文章糾錯(cuò)，請(qǐng)發(fā)送郵件至mobile@csdn.net。

最近增強(qiáng)現(xiàn)實(shí)越來越被大家熟悉起來。最近看到一個(gè)案例（http://www.pps.tv/w_19rtditek5.html），見圖一。 現(xiàn)代汽車發(fā)布電子用車手冊(cè)，其亮點(diǎn)是融入了 AR 技術(shù)。車主只需拿起手機(jī)或平板對(duì)準(zhǔn)車子，該 AR 系統(tǒng)即能自動(dòng)識(shí)別這是車子的哪一部分，并給出相關(guān)的信息。目前，該用車手冊(cè)涵蓋了空氣濾清器、智能巡航控制、警示標(biāo)志、機(jī)油、制動(dòng)液等方面的信息，同時(shí)還包含基于增強(qiáng)現(xiàn)實(shí)技術(shù)的視頻、指南。

圖一 現(xiàn)代汽車運(yùn)用增強(qiáng)現(xiàn)實(shí)技術(shù)

很多人問我這是用到了什么樣的 AR 技術(shù)，是不是 SLAM？沒錯(cuò)，這里面的確用到了 SLAM 相關(guān)技術(shù)。更確切地說，應(yīng)該是 SLAM 框架中的一個(gè)重要技術(shù)環(huán)節(jié)：基于模型的追蹤技術(shù)（Model Based Tracking）。

今天，就讓我們來討論一下這個(gè)基于模型的追蹤技術(shù)技術(shù)，我先從整體介紹一下增強(qiáng)現(xiàn)實(shí)中的追蹤技術(shù)。增強(qiáng)現(xiàn)實(shí)技術(shù)的核心組成部分主要是(圖二)：顯示技術(shù)、輸入交互技術(shù)和識(shí)別追蹤技術(shù)。

圖二 增強(qiáng)現(xiàn)實(shí)的核心技術(shù)

顯示部分主要是光學(xué)成像相關(guān)技術(shù)，該部分與硬件相關(guān)的比較多，這里就不做展開介紹了。輸入交互的技術(shù)主要涉及語音交互、手勢(shì)交互等。這個(gè)我們會(huì)在下一期重點(diǎn)討論。我認(rèn)為有了交互技術(shù)及空間感知的追蹤技術(shù)，即可實(shí)現(xiàn)了 AR 的基本功能。在這里，我們重點(diǎn)介紹追蹤技術(shù)。

追蹤技術(shù)是計(jì)算機(jī)科學(xué)中一個(gè)廣闊而重要的領(lǐng)域，它在教育、娛樂、工業(yè)和制造領(lǐng)域具有廣泛的應(yīng)用。伴隨著成像設(shè)備和硬件計(jì)算能力的發(fā)展，當(dāng)前基于計(jì)算機(jī)視覺的物體跟蹤技術(shù)取得了重大的發(fā)展。

追蹤技術(shù)主要分為：

光學(xué)追蹤；

內(nèi)部傳感器追蹤；

超聲波追蹤；

磁力追蹤；

機(jī)械裝置追蹤。

光學(xué)追蹤是相對(duì)來說成本最低，比較精確的解決方案。它的難點(diǎn)主要在于視覺算法的門檻較高。AR 中的光學(xué)追蹤分為幾種（見圖三），在 VR 中 OutsideIn 的方式用的比較多，比如 Oculus、HTC Vive、PS VR用的都是 Outside 進(jìn)行的位置追蹤。但是在AR中，基本都是 InsideOut，比如說 Hololens。當(dāng)然最近 Oculus 的一體機(jī)用的也是 InsideOut 的追蹤方式。

InsideOut 比 OutsideIn 更加方便，成本更加低。但目前，OutsideIn 的方式更為精確一些。如在一些工業(yè)場(chǎng)景，多使用反光材質(zhì)的標(biāo)示點(diǎn)或特殊材質(zhì)進(jìn)行 Outsidein 光學(xué)追蹤。

標(biāo)識(shí)追蹤現(xiàn)在用的比較多，比如說大家看到的識(shí)字卡片、繪本等都是所謂的標(biāo)識(shí)追蹤，其最早的代表就是 ARToolkit 的。但該基于 Marker 的技術(shù)需要預(yù)先在 AR 場(chǎng)景中粘貼一定的標(biāo)識(shí)，在用戶體驗(yàn)和適應(yīng)性方面具有較大的局限性。為此，基于無標(biāo)識(shí)的 AR 技術(shù)是目前發(fā)展的方向。其中，無標(biāo)識(shí)別追蹤是實(shí)現(xiàn)該技術(shù)核心問題之一，像是 SLAM 等都是屬于這個(gè)類別。我們這次主要介紹紅色部分的 Model-Based Tracking。

圖三 光學(xué)追蹤分類

Model-Based Tracking 的主要技術(shù)框架如下圖四所示，下面將該過程分為建模（Models)、視覺信息處理(Visual processing)、跟蹤(Tracking)三個(gè)方面，并依次對(duì)其進(jìn)行展開。

圖四 基于模型跟蹤的三個(gè)主要任務(wù)：Models，Visual processing，Tracking

1. 模型建立（Models）

模型（Models）的建立主要從目標(biāo)、傳感器和環(huán)境三個(gè)方面展開。首先對(duì)于跟蹤目標(biāo)，需要該目標(biāo)一些先驗(yàn)信息（prior knowledge)，如被跟蹤物體的形狀、外觀、姿態(tài)等特性。其次是需要從傳感器的角度去考慮，比如如果使用未標(biāo)定的單目相機(jī)，其獲取的信息多以 pixel 為單位，若使用立體相機(jī)或深度相機(jī)，其構(gòu)建的尺寸信息是 Metric 的，因此不同傳感器的選擇對(duì)被跟蹤物體的表征形式會(huì)有不同影響。最后是從環(huán)境的角度，在基于視覺的跟蹤過程中，環(huán)境對(duì)跟蹤的準(zhǔn)確性具有很關(guān)鍵的作用，比如在室內(nèi)光照、環(huán)境相對(duì)穩(wěn)定的情況下，重建所得模型就具有更加穩(wěn)定，能很大程度提高基于模型跟蹤的準(zhǔn)確性。

當(dāng)前，在模型建立（models）階段，主要可分為 Online 和 Offline 兩種模型構(gòu)建技術(shù)。Online 在線建模方式：以 SLAM 為代表，其在追蹤的同時(shí)建立模型，其中追蹤和建模是兩個(gè)相互依賴的過程，其彼此間的誤差會(huì)相互傳遞并累加，為保證較好追蹤精度，一般需要借助 Bundle Adjustment 等優(yōu)化方法調(diào)整。但目前，該優(yōu)化方法計(jì)算量較大。目前在 PC 端有較好的實(shí)現(xiàn)，在移動(dòng)端尚存在計(jì)算能力相對(duì)不足的問題。Offline 離線建模方式：將建模和跟蹤分開，規(guī)避了 SLAM 過程中建模的不確定性，同時(shí)克服了建模所需大量運(yùn)算量的問題，因此該方法能提高跟蹤的精度和效率。

目前 Offline 離線建模主要是有兩種情況：

（1）已知目標(biāo)物體的 CAD 形狀，如模型在設(shè)計(jì)制造過程中已有的 CAD 先驗(yàn)知識(shí)，在工業(yè)應(yīng)用及企業(yè)級(jí)別的應(yīng)用場(chǎng)合，因此多以本情況為主。
（2）通過傳感器（如結(jié)構(gòu)光掃描、RGBD、ToF等）逆向獲取目標(biāo)物體的模型信息，然后以此模型作為一個(gè)先驗(yàn)知識(shí)。在實(shí)際的生活應(yīng)用中，個(gè)人參與者不大可能獲取已有物體的 CAD 形狀，因此只能借助簡單的傳感器離線獲取模型，因此這種離線獲取模型的方式更加適用于消費(fèi)者。

圖五 不同的物體跟蹤形式（當(dāng)前主要以Shape和Appearance為主）

2. 視覺信息處理 (Visual processing)

視覺信息處理主要是提取和關(guān)聯(lián)傳感器所獲取的目標(biāo)物體信息，以更新整個(gè)跟蹤系統(tǒng)的狀態(tài)。在實(shí)際的應(yīng)用中，我們需要根據(jù)被跟蹤目標(biāo)的特性，選擇穩(wěn)定的跟蹤線索（如顏色、邊界、運(yùn)動(dòng)規(guī)律、背景信息等等）。

具體在實(shí)際應(yīng)用過程中，是根據(jù)構(gòu)建的模型信息，確定被預(yù)處理的對(duì)象。如在工業(yè)的 AR 等跟蹤過程中，多以 CAD 的形狀和拓?fù)湫畔樘幚韺?duì)象，該視覺信息處理過程即為對(duì)形狀和拓?fù)湫畔⒌牟蓸犹崛?#xff0c;和數(shù)據(jù)關(guān)聯(lián)等。在 2D/3D 領(lǐng)域，多以其各自對(duì)應(yīng)的紋理特征和形狀特征為研究對(duì)象，整個(gè)視覺信息的處理過程是以提取、優(yōu)化獲取構(gòu)建模型的穩(wěn)定特征為目標(biāo)。

目前，該方法可進(jìn)一步細(xì)分為：基于顏色的信息處理；基于關(guān)鍵特征的信息處理；基于輪廓的信息處理和基于模板的信息處理四部分。

3. 跟蹤 (Tracking)

當(dāng)被傳感器獲取的數(shù)據(jù)經(jīng)預(yù)處理輸入后，即可實(shí)現(xiàn)物體的定位跟蹤，該過程具體可以細(xì)分為檢測(cè)和跟蹤兩個(gè)階段。在檢測(cè)階段，需要以被跟蹤物體的先驗(yàn)信息作為初始值，利用覺信息處理技術(shù)獲取的模型信息，與輸入的數(shù)據(jù)進(jìn)行匹配，確定其在空間的姿態(tài)，實(shí)現(xiàn)對(duì)目標(biāo)的跟蹤。

目前針對(duì)移動(dòng)端 6DoF（Degree of Freedom）的跟蹤，主流是采用視覺和 IMU 進(jìn)行融合，實(shí)現(xiàn)更穩(wěn)定的跟蹤（如 Tango）。

以上就是我們極少的 model-Based tracking. 以后我們會(huì)逐一介紹增強(qiáng)現(xiàn)實(shí)技術(shù)是如何實(shí)現(xiàn)的。

總結(jié)

以上是生活随笔為你收集整理的探讨增强现实（AR）基于模型的追踪技术的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。