世界杯來了！央視名嘴白巖松調(diào)侃?“俄羅斯世界杯，中國除了足球隊沒去，其他的都去了”，這屆世界杯，中國球迷購買球票的數(shù)量在所有國家中排名第?9，可見球迷對世界杯的熱情。那么，除了準備好小龍蝦在電視機前觀看世界杯比賽，你有沒有想過讓?C羅、梅西或者內(nèi)馬爾在你家桌子上踢一場比賽會是什么樣子？

華盛頓大學(xué)、Facebook?和?Google?的研究人員開發(fā)了第一個端到端的深度學(xué)習(xí)系統(tǒng)，該系統(tǒng)可以將足球比賽的?YouTube?視頻轉(zhuǎn)換為運動的?3D?全息圖。

用CNN重建一場足球比賽

“對一場足球比賽進行單目重建有很多挑戰(zhàn)。我們必須估計相對于場地的攝像機姿態(tài)，檢測并跟蹤每個球員，重新構(gòu)建他們的身體形狀和姿勢，并對聯(lián)合重建進行渲染，”?研究人員在他們的研究論文中寫道。?

圖1：以足球比賽的?YouTube?視頻為輸入，系統(tǒng)輸出比賽的動態(tài)?3D?重建，可以使用增強現(xiàn)實設(shè)備在桌面上以交互式的方式觀看。

下面的視頻演示了這個系統(tǒng)：

這種方法的關(guān)鍵是卷積神經(jīng)網(wǎng)絡(luò)（CNN），研究人員通過訓(xùn)練?CNN?來估計每個球員與拍攝比賽的攝像機之間的距離。該網(wǎng)絡(luò)分析了從足球視頻游戲《FIFA》中提取的12000?張?2D?球員圖像，以及從游戲引擎提取的相應(yīng)?3D?數(shù)據(jù)，以了解兩者之間的相關(guān)性。

這樣，網(wǎng)絡(luò)就能從沒見過的?2D?圖像中預(yù)估球員的深度圖（?depth maps）。當(dāng)被展示沒見過的視頻時，系統(tǒng)能準確地預(yù)測每個球員的深度圖，并將其與顏色素材結(jié)合，以3D?的方式重建每個球員。

圖?2：重建方法的概覽

以?YouTube?視頻的幀作為輸入，我們使用?field lines?來恢復(fù)攝像機參數(shù)。然后，提取邊界框、姿勢和軌跡（跨多個幀）來分割球員。通過在視頻游戲數(shù)據(jù)上訓(xùn)練好的深度網(wǎng)絡(luò)，我們在游戲環(huán)境中重建了每個球員的深度圖，這樣就可以在?3D?查看器或?AR?設(shè)備上呈現(xiàn)出來。

然后，球員們被放在一個虛擬的足球場上。其結(jié)果令人驚嘆，并且可以通過?3D?查看器或?AR?設(shè)備從任何角度觀看比賽。

圖3：訓(xùn)練數(shù)據(jù)：從《FIFA》游戲中提取圖像和對應(yīng)的深度，這里展示了幾個可視化為深度圖和網(wǎng)格的例子。

該團隊使用?NVIDIA GeForce GTX 1080 GPU?和?NVIDIA TITAN Xp GPU，以及cuDNN?加速的?PyTorch?深度學(xué)習(xí)框架，在從世界杯比賽視頻中提取的數(shù)小時的?3D?球員數(shù)據(jù)上對卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練。

基于這些比賽視頻數(shù)據(jù)，神經(jīng)網(wǎng)絡(luò)能夠重構(gòu)球場上的每個球員的深度圖，這些圖可以在3D?查看器或?AR?設(shè)備上呈現(xiàn)。

“事實證明，在玩?EA?的《FIFA》游戲并截取游戲引擎和?GPU?間的調(diào)用時，可以從視頻游戲中提取深度圖。具體來說，我們使用?RenderDoc?來截取游戲引擎和?GPU?之間的調(diào)用。”?研究團隊表示：“FIFA?與大多數(shù)游戲類似，在游戲過程中使用延遲渲染。通過訪問?GPU?調(diào)用，可以捕獲每幀的深度和顏色緩沖區(qū)。一旦特定的幀被捕獲了深度和顏色，就可以提取出球員。”

圖4：合成數(shù)據(jù)集的結(jié)果以及與當(dāng)前最優(yōu)技術(shù)和?ground truth?的比較，可視化為depth maps?和?3D?網(wǎng)格。我們的方法更準確，實現(xiàn)了更好的網(wǎng)格重構(gòu)。

為了驗證這個系統(tǒng)，研究團隊用?YouTube?上找到的?10?個高分辨率的職業(yè)足球比賽視頻測試他們的方法。值得注意的是，該系統(tǒng)只在合成視頻素材上進行訓(xùn)練。但是，在真實的場景中，系統(tǒng)也有非常好的結(jié)果。

來自?YouTube?視頻的實際圖像的結(jié)果

從?Youtube?框架開始（頂行），我們網(wǎng)絡(luò)重建的深度圖可以添加到虛擬?3D?球場環(huán)境中，這里顯示為僅網(wǎng)格和紋理渲染（第?2-4?行）。

研究人員用微軟的?HoloLens?AR?眼鏡進行測試。HoloLens?可以將?3D?重建疊加到真實的桌面上。最終的產(chǎn)品雖然不完美，它無法重建球，不能實時地工作，并且只允許從視頻錄制的球場側(cè)面觀看。但是，這項技術(shù)可能比當(dāng)前?3D?重建運動的最先進方法更具可擴展性，因為當(dāng)前的方法需要在每一個角度布置相機。研究人員稱，這種方法也適用于預(yù)定義的其他事件，例如音樂會或劇場。

桌面實際的場景

用HoloLens看到的場景

研究人員承認他們的系統(tǒng)并不完美。他們的下一個項目將專注于訓(xùn)練系統(tǒng)以更好地檢測球，并開發(fā)可從任何角度觀察的系統(tǒng)。

這項研究將于?6?月?18?日至?22?日在猶他州鹽湖城舉行的年度計算機視覺和模式識別（CVPR）會議上首次亮相。

論文地址：

http://grail.cs.washington.edu/projects/soccer/soccer_on_your_tabletop.pdf

來源：grail.cs.washington.edu

文章版權(quán)歸原作者所有，轉(zhuǎn)載僅供學(xué)習(xí)使用，不用于任何商業(yè)用途，如有侵權(quán)請留言聯(lián)系刪除，感謝合作。

總結(jié)

以上是生活随笔為你收集整理的来看一场 AI 重建的 3D 全息世界杯比赛！的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。