全景视频的跟踪与合成方法
from:https://www.zhihu.com/question/39722446
兩方面回答：（1）合成，（2）跟蹤。
多圖，流量黨慎入。- 合成
當今全景視頻的拍攝方案是采用多臺同型號、同鏡頭配置的攝像機（如若干臺GoPro Hero 4）安裝在全景視頻拍攝的支架上進行拍攝的，最先面臨合成的問題是如何將多臺攝像機的拍攝素材拼合并投影在一個球面上。
Δ 由特定支架綁定若干GoPro攝影機，可拍攝全景視頻。（圖片來源于網(wǎng)絡(luò)，侵刪）
目前業(yè)內(nèi)有若干主流軟件可供拼合全景畫面使用：
（1）只能用于圖片：PTGui、APG。
（2）合成視頻文件：AfterEffects、Nuke、AVP。
推薦流程：
（1）簡單鏡頭使用Autopano處理。
（2）復雜的鏡頭用PTGui生成鏡頭配置，結(jié)合Autopano或Nuke拼合。
（3）Nuke或Ae結(jié)合插件Skybox處理。
（4）利用近期The Foundry公司在NAB發(fā)布的CARA VR for Nuke工具鏈作為解決方案，該方案在一定程度上超越了上述工具鏈，尤其是在處理立體（stereo）合成時具有一定優(yōu)勢。
拼合測試結(jié)果展示 （尺寸：4K LatLong） ：
Δ 由7臺GoPro拍攝的全景視頻展開圖。
Δ 由于鏡頭7缺少特征且天花板特征十分接近，Autopano等自動軟件無法完成，必須使用PTGui手動對齊。Δ 二號鏡頭拍攝的視頻的制式有問題，autopano無法使用，使用PTGui及Nuke拼合。
Δ 在Nuke中投影的攝像機組合結(jié)構(gòu)。
2.在全景視頻中的合成制作
在電影視覺特效（VFX）的工業(yè)流程中，數(shù)字繪景師（Digital Matte Painter）與合成師（Compositor）對于處理球面投影的虛擬環(huán)境的工作可謂是駕輕就熟，因為這實在是太尋常了，幾乎每個項目都會涉及。
美國硅谷虛擬現(xiàn)實初創(chuàng)公司 Jaunt（官網(wǎng)： https://www.jauntvr.com/）請的VFX Supervisor——Nathalie Mathe就是做DMP出身的（個人Demo Reel： https://vimeo.com/66620381， 懂得科學上網(wǎng)手段的知友可見），應(yīng)該算是最合適的人選了。
Δ Nathalie Mathe的個人CV截圖。
DMP處理全景視頻的手段無異于傳統(tǒng)VFX流程中利用球面投影繪制環(huán)境的方法，對此，答主不花過多時間討論。重點談?wù)労铣蓭熑绾翁幚砣耙曨l畫面的合成工作。
傳統(tǒng)VFX工作流程中，CMP的基本工作包括 合成2D/3D元素進入畫面、調(diào)色與匹配、遮罩與摳像、畫面修補、跟蹤與穩(wěn)定、特殊效果等。
（未完待續(xù)）
合成測試結(jié)果展示 （尺寸：4K LatLong） ：
Δ 原圖。
Δ 進行了天空替換和調(diào)色。
- 跟蹤
（未完待續(xù)）
答主需要先忙手頭上的工作，點贊解鎖更多回答內(nèi)容。:)
- 附錄
vrl_class01_VR全景視頻合成教程01—在線播放—優(yōu)酷網(wǎng)，視頻高清在線觀看 http://v.youku.com/v_show/id_XMTUzODU3MjY4OA==.html?from=y1.7-1.2 vrl_class02_VR全景視頻合成教程02—在線播放—優(yōu)酷網(wǎng)，視頻高清在線觀看 http://v.youku.com/v_show/id_XMTU1MjUxNjEzMg==.html?from=y1.7-1.2 發(fā)布于 2016-05-0913 條評論感謝 收藏 ? 沒有幫助 ? 舉報 ? 禁止轉(zhuǎn)載 AMD程序媛農(nóng)企賽高 1?人贊同 關(guān)注AMD的小伙伴都知道Radeon Loom這個項目，這是AMD的開源360度實時視頻拼接方案，今天就請跟隨銳VR來了解一下關(guān)于Loom的更多細節(jié)。
首先，關(guān)于Radeon Loom的命名：從新石器時代的洞穴壁畫到當代的IMAX及VR/AR體驗，都可以看出來人們非常享受360度環(huán)境下的藝術(shù)體驗，包括文藝復興時期的壁畫和內(nèi)部繪制畫作，19世紀的大風景畫幕和環(huán)場影像以及最新興起的沉浸式視覺體驗。Loom這個單詞的中文釋義為“織布機”，織布機已經(jīng)擁有數(shù)千年的歷史，并且對藝術(shù)和史詩講述類織錦畫的創(chuàng)作至關(guān)重要，如闡述了11世紀諾曼征服的長達70米的貝葉掛毯。Radeon Loom的命名保留了這一意象，希望能夠幫助數(shù)字時代的故事陳述者去編織和拼接下一部永恒的史詩。
關(guān)于Radeon Loom
正如現(xiàn)代機械織布機能夠在無數(shù)的線軸上制作出美麗的圖像一樣，AMD的Radeon GPU同樣可以處理成千上萬的多線程任務(wù)，渲染出令人驚嘆的數(shù)碼畫面。
1801年，法國人賈卡革新的提花織機引進了自動穿孔裝置，使得現(xiàn)有的工廠織布機可生產(chǎn)更為復雜的圖案，極大地提高了生產(chǎn)力，這對今天的時尚行業(yè)都影響巨大。Radeon Loom的目標本質(zhì)上是與之一致的：為影視級VR視頻體驗提供創(chuàng)造性的動力，使高質(zhì)量360度視頻的創(chuàng)作過程更加簡化和現(xiàn)代化，使內(nèi)容創(chuàng)作者釋放更多的精力在獨特的內(nèi)容革新上面。
我們的第一個目標，是使用戶在使用高質(zhì)量的360相機陣列拍攝影片的過程中，就能夠通過Oculus Rift或HTCVive預覽360度視頻。反復設(shè)計后，我們想出了一些解決方案，其中一個如下圖所示：
https://pic4.zhimg.com/v2-a81b746a0e2ab94354156e22de1879c7_b.png" data-rawwidth="1280" data-rawheight="720" class="origin_image zh-lightbox-thumb" width="1280" data-original="https://pic4.zhimg.com/v2-a81b746a0e2ab94354156e22de1879c7_r.png">有些重要的細節(jié)不得不提。首先，我們使用了快速的工作站顯卡，AMD FirePro? W9100或Radeon?Pro WX系列，因為顯卡速度越快，支持的鏡頭越多，分辨率也更高。其次，我們通過SDI影像擷取卡和DirectGMA軟件從鏡頭中獲取數(shù)據(jù)流，所以這些數(shù)據(jù)可以被直接傳遞到GPU存儲緩沖區(qū)。最后，我們使用BlackMagic相機，通過HDMI輸出同步鎖相，并通過變流器將每一個信號轉(zhuǎn)換成轉(zhuǎn)播級SDI（串行數(shù)字接口）。
一旦這些數(shù)據(jù)通過DirectGMA進入GPU存儲器，一組復雜的算法會將所有的圖片縫合成為360度球形視頻。當視頻被縫合完成，就會通過SDI被輸出到一臺或多臺PC，可通過頭顯直接觀看并/或上傳到互聯(lián)網(wǎng)。
在為一套實時360視頻裝備設(shè)定位置時會產(chǎn)生一些問題，這一定要引起重視。360度拍攝中不可能有一位攝影助理幫你手持并操控相機，否則他也會出現(xiàn)在視頻中。因此，你可能會想要定位拼接縫并/或在一定距離外通過PC查看拍攝的畫面，比如在一堵墻或一塊綠幕后。
為什么拼接很難
如果你看過一些高質(zhì)量的360度視頻，你可能會認為360度拼接已經(jīng)是一個基本上被解決了的問題。然而，并不是的。但過去這幾十年的算法先驅(qū)們所做出的成績值得被肯定，因為他們的努力已經(jīng)解決了很多關(guān)于全景和360度VR拼接的問題。
然而，諸如視差、相機和拼接縫的數(shù)量、傳感器之間的曝光差異等問題必須要被解決。先來解釋一下視差。簡單來說，就是兩個不同位置的鏡頭從不同角度拍攝同一個物體，就像你把一根指頭豎起靠近鼻梁中央，分別遮住一只眼睛，用另一只眼睛去觀看這根手指和其背景畫面，你會發(fā)現(xiàn)不同眼睛看到的畫面角度是不同的。
第二個問題是鏡頭數(shù)量越多越好，因為分辨率和光學性能會因此而提高（因為畸變會減少）。然而，這意味著需要更多的縫合處理。此外，當人和物體多次在縫合處穿行，視差問題會因為微小的角度差而反復出現(xiàn)。
第三個涉及的問題是每個鏡頭傳感器都有不同的照明條件。比如，拍日落的時候會有一個面向西邊落日的鏡頭，此時朝東的鏡頭拍攝區(qū)域的光線就相對比較暗。現(xiàn)有的成熟算法可以調(diào)節(jié)和協(xié)調(diào)圖像之間的曝光變化，但要以損失光照、顏色精準度和整體的動態(tài)范圍為代價。這一問題在弱光條件和有限的藝術(shù)表現(xiàn)形式下會更加突出。
拼接優(yōu)化
我們在設(shè)計過程中遵循了一些簡單優(yōu)化指導，如“盡可能少的觸碰每個像素”。以及，一旦“觸碰”或讀一個像素，盡可能多的在其之上進行操作。這說起來很容易，實際操作起來很難，因為數(shù)據(jù)量之龐大。通過使用DirectGMA（只適用于AMD FirePro? and Radeon? Pro顯卡）我們不必在CPU和GPU存儲器中復制數(shù)據(jù)，再循環(huán)往復。
另一個重要的優(yōu)化是準備工作負載使GPU保持繁忙狀態(tài)。我們能做到的是在像素組被處理時提前準備好流水線。
為了達到多鏡頭實時拼接的目標，我們嘗試了多種實驗。最終，我們選擇并開發(fā)計算周期最少，品質(zhì)最高的算法，然后優(yōu)化算法的執(zhí)行。當然，我們還選擇了最有效的算法去優(yōu)化了我們的大規(guī)模并行處理器和可擴展的FirePro?and Radeon? GPU。
Radeon Loom Beta版本現(xiàn)已可獲取
360度視頻創(chuàng)作已經(jīng)爆發(fā)，僅僅在2016年就有近百萬的360度視頻被上傳至Facebook，YouTube等社交媒體網(wǎng)站上，并且有望在2025年形成115億美金規(guī)模的產(chǎn)業(yè)。如上所述，鏡頭越多，最終的360度體驗分辨率和品質(zhì)越高。然而，拼接工作著實是一個巨大的挑戰(zhàn)。
Radeon Loom通過GPU大量的并行處理革新了實時及線下360度視頻拼接的過程。Radeon Loom使用AMDKhronos? OpenVX? 開源計算視覺架構(gòu)，可實時拼接多至24個4k x2k鏡頭、離線拼接多至31個8K x4K鏡頭拍攝到的畫面。如果你恰巧已經(jīng)是一位360視頻開發(fā)者，可點擊Radeon Loom StitchingLibrary onhttp://GPUOpen.com 下載Radeon Loom的beta版本。
目前AMD中國團隊正在和本地攝像機開發(fā)商合作，提供端到端的解決方案，屆時會面向VR全景用戶發(fā)布！
發(fā)布于 2017-01-10添加評論感謝 收藏 ? 沒有幫助 ? 舉報 ? 作者保留權(quán)利 匿名用戶 1?人贊同 嗯 我就看看誰回答 這東西做起來坑這么多屬于重大商業(yè)機密 哪個創(chuàng)業(yè)者敢說投資人也是要瘋 發(fā)布于 2016-02-26添加評論感謝 收藏?沒有幫助?舉報?作者保留權(quán)利 匿名用戶 1?人贊同 這個東西我會做，而且做了好多年了，AE后期就可以合成，但是技巧屬于商業(yè)機密，二屬于個人核心競爭力，任何人都不會透露給你的 發(fā)布于 2016-02-263 條評論感謝 收藏?沒有幫助?舉報?作者保留權(quán)利 藝芊藝全景攝影師 全景視頻的合成與全景圖片的合成在方法上并無大的差別，只是在合成前多了一個視頻幀同步的步驟而已。在難度上，因為拍攝方法的不同，全景視頻合成要比全景圖片合成難度要大些。1. 方法： 不同于全景圖片使用同一個相機拍攝，全景視頻一般是采用多個相機拍攝的，比如GOPRO的推出的OMNI方案采用的是6個相機同時拍攝。由于6個相機的時鐘都有微小的差別，即便同時開始錄制，幾分鐘后各個視頻幀就失去同步了。所有要在后期制作全景時，首先做一個視頻幀同步的步驟，保證合成全景的視頻幀是在同一時間拍攝的。
2. 難度： 全景視頻（或圖片）的合成其實是個數(shù)學問題：已知幾張拍攝好的照片，推算出相機的內(nèi)部參數(shù)（如焦距，光圈大小與感光芯片大小關(guān)系等）和拍攝位置。如果是同一臺相機在同一位置拍攝，只是拍攝角度不同而已，那么這是最簡單的情況，算出來的結(jié)果也是最精確的，所有一般全景攝影師，包括我自己都在采用這種方法。而全景視頻采用了多臺相機，就有多個未知的相機內(nèi)部參數(shù)和拍攝位置，這個數(shù)學問題也更復雜，得到的結(jié)果誤差也會更大。 發(fā)布于 2017-01-30添加評論感謝 收藏?沒有幫助?舉報?作者保留權(quán)利 匿名用戶 全景視頻+跟蹤：坑比較多，要做好的話，大概需要4個方面專業(yè)，此外還需要天時地利，要做好確實不易 發(fā)布于 2016-03-231 條評論感謝 收藏?沒有幫助?舉報?作者保留權(quán)利 王XXkrpano krpano可以制作全景交互及全景視頻
總結(jié)
以上是生活随笔為你收集整理的全景视频的跟踪与合成方法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： AVP 6目GoPro全景拼接
- 下一篇： 如何使用Autopano Video P