為視頻短片增加有趣的3D對象，通過Android Motion Stills就可以實現(xiàn)。近日，Google宣布對Motion Stills增加了AR功能。本文由LiveVideoStack摘譯，點擊『閱讀原文』訪問原文鏈接。

文 / ?Jianing Wei和Tyler Mullen

譯 / 鴻蒙

審校 / Ant

去年夏天，我們在Android平臺上推出了Motion Stills，它可以在各種Android手機(jī)上提供出色的視頻捕捉和觀看體驗。然后，我們進(jìn)一步改進(jìn)了Motion Stills技術(shù)，為Pixel 2增加了新的動態(tài)照片功能。

今天，我們很高興地發(fā)布Android Motion Stills中的增強(qiáng)現(xiàn)實（AR）模式。在新推出的AR模式下，用戶只需觸摸取景器即可在靜態(tài)或移動的水平表面（例如桌子，地板或手）上放置有趣的虛擬3D對象，從而與動態(tài)真實世界環(huán)境進(jìn)行無縫交互。您還可以將剪輯錄制下來并分享為GIF圖或者視頻形式。

Motion Stills的即時運動捕捉

AR模式由即時運動捕捉、6自由度跟蹤系統(tǒng)來支撐。6自由度跟蹤系統(tǒng)是基于能夠驅(qū)動Motion iOS中的Motion Text和YouTube上的Privacy Blur這兩項功能的相關(guān)技術(shù)的，這項技術(shù)可以精確跟蹤靜態(tài)和移動物體。我們對這項技術(shù)進(jìn)行了改進(jìn)和增強(qiáng)，以便能夠在任何使用陀螺儀的Android設(shè)備上運行有趣的AR應(yīng)用體驗。

當(dāng)您觸摸取景器時，Motion Stills AR會將3D虛擬物體“粘”到該位置，使其看起來像是真實世界場景的一部分。假設(shè)跟蹤的表面與地平面平行，并使用設(shè)備的加速度計傳感器提供手機(jī)相對于地平面的初始方向，我們便可以跟蹤攝像機(jī)的6個自由度（3個用于平移，3個用于旋轉(zhuǎn)）。這使我們能夠準(zhǔn)確地變換和渲染場景中的虛擬物體。

當(dāng)手機(jī)大致穩(wěn)定時，加速計傳感器會提供由于地球重力而產(chǎn)生的加速度。對于水平面來說，重力矢量平行于跟蹤平面的法線，并且可以精確地提供手機(jī)的初始定向。

即時運動捕捉

即時運動捕捉的核心思想是解耦攝像機(jī)的平移和旋轉(zhuǎn)估計，將其視為獨立的優(yōu)化問題。首先，我們只根據(jù)相機(jī)的視覺信號確定3D相機(jī)的平移。為此，我們觀察目標(biāo)區(qū)域的明顯2D平移和跨幀的相對縮放比例。一個簡單的針孔照相機(jī)模型將圖像平面中的框的平移和縮放與相機(jī)的最終3D平移相關(guān)聯(lián)。

可以使用圖像平面中的框的平移和尺寸（相對縮放比例）的變化來確定兩個相機(jī)位置C1和C2之間的3D平移。但是，由于我們的相機(jī)模型并不假定相機(jī)鏡頭的焦距，我們不知道被跟蹤平面的真實距離/深度。

為了解決這個問題，我們在現(xiàn)有的跟蹤器（Motion Text中使用的跟蹤器）中添加了縮放比例估計，并在相機(jī)的視場之外追加了區(qū)域跟蹤。當(dāng)相機(jī)靠近被跟蹤的表面時，虛擬內(nèi)容精確地縮放，這與真實世界對象的感知一致。當(dāng)您將鏡頭移出目標(biāo)區(qū)域的視場之外并再返回時，虛擬物體將重新出現(xiàn)在大致相同的位置。

獨立的平移（僅從紅色框顯示視覺信號）和旋轉(zhuǎn)捕捉（從陀螺儀;但未顯示）

我們使用手機(jī)的內(nèi)置陀螺儀來獲得設(shè)備的3D旋轉(zhuǎn)（翻滾，俯仰和偏擺）。估算的3D平移與3D旋轉(zhuǎn)相結(jié)合，使我們能夠在取景器中正確渲染虛擬內(nèi)容。而且，由于我們分別處理旋轉(zhuǎn)和平移，所以我們的即時運動捕捉方法不需要校準(zhǔn)，可以在任何帶有陀螺儀的Android設(shè)備上工作。

Motion Still AR模式下的小雞家庭

我們很高興為Android的Motion Stills增加這種新的模式，我們也希望您能喜歡它。請下載Motion Stills的新版本，并繼續(xù)在您最喜愛的社交媒體上發(fā)送#motionstills反饋意見。

致謝

在渲染方面，我們很感謝能夠使用動畫Poly模型來利用Google的Lullady引擎。感謝曾與我們合作過的團(tuán)隊成員，他們是：John Nack，Suril Shah，Igor Kibalchich，Siarhei Kazakou和Matthias Grundmann。

WebRTCon 2018 7折火熱報名

WebRTCon希望與行業(yè)專家一同分享、探討當(dāng)下技術(shù)熱點、行業(yè)最佳應(yīng)用實踐。如果你擁有音視頻領(lǐng)域獨當(dāng)一面的能力，歡迎申請成為講師，分享你的實踐和洞察，請聯(lián)系 speaker@livevideostack.com。

點擊了解大會詳情。

總結(jié)

以上是生活随笔為你收集整理的Android Motion Stills实现AR即时运动捕捉的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。