?OPPO

為了解決雙向反射分布函數 (SVBRDF)提取過程中所遇到的紋理、高光、陰影問題，南京大學計算機軟件新技術國家重點實驗室的過潔博士等多位專家學者和OPPO軟工多媒體與智慧開發部高級算法工程師王磊共同提出了一種深度學習方法，可從單個隨意捕獲的圖像中生成解纏結的 SVBRDF 映射。憑借其高效、靈活的特質，該研究的論文Highlight-aware Two-stream Network for Single-image SVBRDF Acquisition（《用于單幀圖像 SVBRDF 估計的高光感知雙流網絡》）已被計算機圖形學頂級國際學術會議 ACM SIGGRAPH 2021 接收。SIGGRAPH是全球影響最廣、規模最大、最權威的計算機圖形學會議，每年全球僅130篇左右論文入選。

讓計算機產生令人賞心悅目的圖片，創造出和真實世界一致的虛擬世界，一直是計算機圖形學研究人員追求的目標。

受限于傳統方法在處理大規模幾何、復雜材質以及特殊光照方面的局限性，計算機還無法達到“以假亂真”的程度。因此，研究人員需要新的探索方向，提高計算機的圖形渲染能力。

在OPPO 和南京大學合作的題為“Highlight-Aware Two-Stream Network for Single-Image SVBRDF Acquisition”的論文中，研究員們從深度學習出發，用神經網絡結合大量數據，嘗試在未知的空間變化情況下，完成平面材質的外觀建模。論文中的方法僅采用了單張圖片作為輸入，不需要相機參數和光源參數，就能輸出高質量材質參數。

01

圖形學和深度學習的融合

在虛擬三維場景內容創建過程中，材質的高質量重建向來是一個復雜耗時的工作。傳統的材質重建方法通常需要依賴特殊的設備、受過專業訓練的技術員以及長時間的拍攝。

而OPPO和南京大學合力設計的雙流網絡，只需要消費級別的相機（手機等），并且只需要拍攝一張圖片，即可由非專業人員重建出高質量的材質參數。

其中，雙流網絡以HA卷積為基礎，其中HA卷積的作用是：在過度曝光的圖像區域填補缺失內容；因此，雙流網絡可以充分利用圖像的有用特征，促進材質屬性的解纏學習。這也正是本篇論文的關鍵性創新。

以下是詳細介紹：

本文的任務

讓計算機感知真實環境中真實物體的材質。

材質用使用空間變化的表面函數表示，即SVBRDF（Spatially Varying Bidirectional Reflectance Distribution Function ），研究人員進一步簡化為漫反射（diffuse）、法向（normal）、粗糙度（roughness）、高光（specular）。

模型架構

雙流網絡（Two-Stream）包含三個方面，HA卷積、AFS（An attention-based feature selection ）以及FU-Branch。

HA卷積受gated convolution的設計啟發，旨在當圖片被高光污染時，對高光區域的細節進行恢復；

Two-Stream中兩個獨立分支的雙流網絡：HA-Branch和ST-Branch，主要用于特征提取。還能改善簡單地堆疊HA卷積產生的問題，即產生過度模糊的法線和有偏的鏡面分量；

AFS借鑒了Channel Attention的思想，針對SVBRDF的不同材質貼圖的恢復，能夠從HA-Branch和ST-Branch中側重提取不同的特征。

FU-Branch的作用是融合提取的特征，并在設計上采用四個獨立網絡，能夠分別重建材質的漫反射diffuse、法向normal、粗糙度roughness、高光specular。

解決的難點

1.如何解決圖像過曝問題？

由于過曝區域無法估計，采用讓網絡自學習判別過曝區域，并修復。

2.如何解決模型過擬合？

訓練數據集包含18萬張圖片，可以比較好地避免過擬合的問題。

由于材質估計是具有二義性的，即不同的SVBRDF 也有可能生成一樣的材質圖，所以研究人員訓練loss中包含render loss ，即估計的材質貼圖與ground truth 在同樣的光照條件下渲染出材質圖做L1 loss。這樣即表示不那么強調材質貼圖的完全一致，可以有效緩解過擬合問題。

3.如何解決diffuse 和specular 貼圖的解纏效果差？

使用多解碼器以及其中的AFS模塊，多解碼器是為了讓每個解碼器可以在high level 特征提取時就通過AFS 模塊著重提取對應的貼圖需要的特征，以達到解纏目的。

02

模型介紹

HA卷積

HA卷積框架圖

HA卷積有兩個卷積層，第一個卷積旨在識別特征圖X????中潛在的過度曝光的高光區域。第二次卷積可以采用任何激活函數，可以從有效內容中提取特征。

此外，研究員將IN（Instance Normalization）加入，目的是去除材質圖的陰影。雖然IN的存在能夠穩定網絡訓練，但它未能保持關于輸入圖像的非局部信息。為此，研究員在HA卷積中增加了一個inception block。其有兩個軌道，軌道1包含3x3的卷積，軌道2包含兩個3x3的卷積。

定義inception block學習的映射為p，因此HA卷積的完整表公式為：

雙流網絡

雙流網絡

在HA卷積的基礎上，研究員們設計了用單張圖片重建SVBRDF的雙流網絡。如上圖所示，其有兩個獨立的分支HA-Branch 和 ST-Branch組成，作用是特征提取。FU-Branch有四個，每個都具有相同的結構，其作用是融合HA和ST提取的特征，并做最后的材質參數估計。D_G和D_L分別代表全局判別器和局部判別器。

AFS框架圖

其中，雙流網絡中的基于注意力的特征選擇(AFS)模塊，由全局平均池化（GAP）和多層感知器（MLP）組成。

損失函數

雙流網絡通過聯合損失函數進行訓練，其有三部分組成：用L1計算得到的重建材質映射損失L_map；基于L1在9個新渲染圖得到的L_render，以及對抗損失L_adv。不同于傳統損失函數，聯合損失函數經過了對抗訓練。

性能評估&分析

通過在各種可用的數據集上進行定性和定量實驗，研究員們驗證了模型捕獲SVBRDF的性能。尤其是在高光圖片數據集上進行了驗證。

Adobe Stock數據集中的一個示例。

定性來看，“ours”效果做好。

在合成數據上實驗結果顯示，HA卷積能夠通過學習掩碼（masks），在大量數據訓練加持下，對卷積核不斷更新權重，直到網絡收斂。如此能有效克服對初始化的依賴，并且用合理的內容填充缺失區域。

黑色加粗處為最佳分數

為了進一步驗證方法的有效性，研究員們對重建的材質圖和新的渲染圖進行了定量分析。結果如上表所示，論文中的變種模型在各個參數的“捕獲”中獲得了最佳分數。

各模型在真實樣本上的表現

在真實樣本上表現如何？研究員們選了四張照片，這四張照片是通過開啟閃光燈的手機相機拍攝的，儲存格式為LDR，每一張都有高光，都會考驗模型能否分辨“有歧義”的飽和像素。上圖展示的是一張圖片的實驗結果，RAND方法diffuse 和specular 貼圖的解纏效果不好，DIR方法依賴相機參數。而OPPO和南大研究員提出的方法，由于采用四個獨立的解碼器和對抗性訓練策略，因此在從一幅輸入圖像中提取不同的材質屬性方面取得了相當大的成功。

單圖方法和多圖方法的效果對比

雖然只使用一幅輸入圖像，但有時可以達到與基于多圖像的方法相當的性能。如上圖所示，雖然一幅圖像中包含的信息不夠充分，但研究員們仍達到了與MaterialGAN相似的效果。另外，雪花恢復光澤（左）、卡通圖像更加飽和（右）都說明了該方法的解纏效果。

高分辨率下的測試

由于雙流網絡是全卷積，因此任意分辨率的圖像可以直接送入網絡，而且不需要任何再訓練。如上圖所示，在1024×1024高分辨率下的測試結果：如果高光區域較小，重建的高分辨率材質圖的質量足以匹敵真實圖像。此外，缺失的細節也被補全了。

03

結束語

深度學習為解決傳統的圖形學相關問題帶來新的機遇。OPPO的研究員們認為，深度學習可以很方便地處理傳統圖形問題中的高維度和多模態數據，以及提升傳統算法的性能和魯棒性。

具體在這篇論文中，完成材質估計，傳統的方法需要依賴昂貴的設備和專業的人員，但是深度學習所帶來的智能化操作使得普通用戶也能完成材質估計這個任務。

這篇論文是OPPO在對真實環境的理解以及AR虛實融合等方面持續深耕的充分體現，代表在材質估計領域，OPPO已經走在了世界研究水平的前列。接下來，該技術將用于元宇宙、物體重建等領域，幫助打造更具真實感、更豐富的3D場景，OPPO也正在計劃將該技術通過ARUnit開放給OPPO開發者使用。

OPPO始終關注對新技術的長期探索及應用轉化，以期幫助產品和服務提升用戶體驗，這一技術的開發和開放也是OPPO品牌信仰“科技為人，以善天下”的良好詮釋。

特邀作者：越山，資深技術媒體人

關注OPPO TECH公眾號，后臺回復“SIGGRAPH”即可查看《用于單幀圖像 SVBRDF 估計的高光感知雙流網絡》技術報告。參與互動答題，還有機會免費領取OPPO送出的大禮哦！

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的SIGGRAPH 2021丨OPPO与南大提出双流网络：仅输入单张图片，就能“看”出物体材质...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。