繼上次分享的中科院博士用一張“靜態圖”就能實現人臉3D建模新研究，又一重要力作。

手動對人體進行3D建模并非易事。

但現在，只給AI一張高清照片，它還真就能分分鐘搞定這件事。

甚至還挺高清，衣服褶皺、面部表情，細節一點不少。

這項新研究來自南加州大學和Facebook，中選CVPR 2020。

并且已經在GitHub上開源，標星3.6k，還在一天內就漲了207顆星，登上GitHub熱榜。

一起來看看，這究竟是如何實現的。

論文摘要

深度神經網絡驅動基于圖像的3D人體形狀估計發展前沿技術。盡管當前的方法已經證明了在現實環境中的潛力，但是它們仍然無法以輸入圖像中經常出現的細節水平進行重建。

作者認為，這種局限性主要來自兩個相互矛盾的要求。準確的預測需要大背景，但是精確的預測需要高分辨率。由于當前硬件中的內存限制，以前的方法傾向于將低分辨率的圖像作為輸入來覆蓋較大的空間上下文，并因此產生精度較低（或低分辨率）的3D估計。

作者通過制定一種端到端可訓練的多層體系結構來解決此限制。粗糙級別以較低的分辨率觀察整個圖像，并著重于整體推理。這提供了一個很好的環境，可以通過觀察更高分辨率的圖像來估計高度詳細的幾何形狀。

通過充分利用1k分辨率的輸入圖像，該方法在單圖像人形重建方面明顯優于現有的最新技術。

多級像素對齊隱式函數

這只AI名叫PIFuHD，其基礎框架是ICCV 2019上已經登場的像素對齊隱式函數PIFu。不過，PIFu以分辨率為512×512的圖像作為輸入，輸出的3D模型分辨率不高。

為了得到高分辨率的輸出，在這項研究中，研究人員在PIFu的基礎之上，額外疊加了一個像素對齊的預測模塊。

如圖所示，頂部粗層次像素對齊預測器捕捉全局的3D結構。高分辨率的細節則由下面的Fine模塊添加。

具體而言，fine模塊將1024×1024的圖像作為輸入，并將其編碼成高分辨率的圖像特征（512×512）。

此后，高分辨率特征嵌入和第一個模塊中得到的3D嵌入被結合起來，用以預測占位概率場。

為了進一步提高重建的質量和保真度，該方法還會在圖像空間中預測正反兩面的法線圖，并將其作為額外的輸入反饋給網絡。

細節捕捉高手

所以，跟前輩們相比，PIFuHD究竟進步了多少？

研究人員在People Snapshot dataset數據集上將其與此前的SOTA方法進行了定性比較。

可以明顯看出，由于PIFuHD充分利用了基礎形狀和精細形狀，能夠直接在像素級別上預測3D幾何形狀，它對輸入圖像的細節把握更加精準，重建出來的3D人體模型分辨率更高。

Oral視頻

Demo可玩

論文代碼已經開源，并且，研究團隊還在Colab上提供了在線試玩。

輸入一張你自己的照片，幾分鐘之內就能收獲一個數字3D的你。

真·3D建模師福音。

結合可以讓3D模型動起來的Mixamo食用，網友們都玩嗨了。

趕快上手玩起來吧~

相關工作

Monocular Real-Time Volumetric Performance Capture (ECCV 2020)
Ruilong Li*, Yuliang Xiu*, Shunsuke Saito, Zeng Huang, Kyle Olszewski, Hao Li

The first real-time PIFu by accelerating reconstruction and rendering!!

PIFu: Pixel-Aligned Implicit Function for High-Resolution Clothed Human Digitization (ICCV 2019)
Shunsuke Saito*, Zeng Huang*, Ryota Natsume*, Shigeo Morishima, Angjoo Kanazawa, Hao Li

The original work of Pixel-Aligned Implicit Function for geometry and texture reconstruction, unifying sigle-view and multi-view methods.

Learning to Infer Implicit Surfaces without 3d Supervision (NeurIPS 2019)
Shichen Liu, Shunsuke Saito, Weikai Chen, Hao Li

We answer to the question of "how can we learn implicit function if we don't have 3D ground truth?"

SiCloPe: Silhouette-Based Clothed People (CVPR 2019, best paper finalist)
Ryota Natsume*, Shunsuke Saito*, Zeng Huang, Weikai Chen, Chongyang Ma, Hao Li, Shigeo Morishima

作者簡介

最后，附上作者簡介。

論文一作齋藤俊輔（Shunsuke Saito），目前在Facebook Reality Labs擔任研究科學家，致力于深度人類數字化的有效數據表征研究。

他在南加州大學工作期間，曾與計算機圖形學領域知名華人教授黎顥合作。

傳送門

• 論文：https://arxiv.org/pdf/2004.00452.pdf

• GitHub地址：https://github.com/facebookresearch/pifuhd

• 項目地址：https://shunsukesaito.github.io/PIFuHD/

• Demo地址：https://colab.research.google.com/drive/11z58bl3meSzo6kFqkahMa35G5jmh2Wgt?usp=sharing#scrollTo=afwL_-ROCmDf

- END -??

往期精彩回顧適合初學者入門人工智能的路線及資料下載機器學習及深度學習筆記等資料打印機器學習在線手冊深度學習筆記專輯《統計學習方法》的代碼復現專輯 AI基礎下載機器學習的數學基礎專輯 獲取本站知識星球優惠券，復制鏈接直接打開： https://t.zsxq.com/qFiUFMV 本站qq群704220115。加入微信群請掃碼：

總結

以上是生活随笔為你收集整理的【CV】给AI一张高清照片，分分钟还你细节满满的3D人体模型，GitHub标星4.4k | 在线可玩...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。