?OPPO

隨著CVPR 2021的落幕，越來越多專業論文進入大眾視野。OPPO研究院團隊與清華大學等多個機構學者群策群力， 基于點云數據不完整的問題聯合提出了一種名為ViPC（view-guided point completion framework）的點云補全框架，巧妙地融合點云、可視圖像兩種模態，通過一個額外的單視圖（single-view image），用“跨模態”信息映射的方法，“看”出點云（point-cloud）全局信息。本文將為大家解讀這種新的解決方案。

點云是指坐標系下的點的集合，不只包括坐標位置，它還包含顏色、時間等豐富的信息；高質量的點云獲取是機器人、自動駕駛、測繪、數字孿生3D重建等應用領域的基礎核心技術。點云數據可以通過掃描設備獲取，例如裝備專業的激光雷達、立體攝像頭等；近年來，越來越多的消費電子終端也搭載了點云獲取傳感器，如TOF等，但是受到功耗、體積等的限制，一般精度/分辨率不高。

當用設備直接獲取數據的時候，會受到物體遮擋、掃描精度等諸多因素的影響，從而導致點云稀疏、有噪聲、不完整。增強點云質量常采用的方式是點云補全、去噪和超分辨率等。深度學習出現之后，這種數據驅動的方法在處理不規則結構方面表現出了強大威力。

當前，業界通常采用的數據驅動方式是：將不完整的點云輸入特征空間，解碼器將特征輸入到傳輸回歐幾里德空間來重建完整的點云。這意味著，整個網絡的作用是參數化模型，目的是學習不完整點云和完整點云兩個潛在空間之間的映射。

由于輸入的點云極具不完整性，所以信息量有限，因此在推斷缺失點時存在很大的不確定性；另外，點云是一種非結構化數據，再加上固有的稀疏性，很難確定模型輸入空白的3D空間是由固有的稀疏性還是不完整性造成的，模型缺乏可解釋性。

ViPC利用單一視圖進行點云補全的大致思路。

針對上述兩個問題，OPPO團隊和清華大學的學者們聯合提出了一種名為ViPC（view-guided point completion framework）的點云補全框架，能夠通過一個額外的單視圖（single-view image）“看”出全局信息。此外，還設計了一種更加通用的點云優化深度網絡，可以有針對性的對點云中的點進行“修飾”。

為了更好的研究這個問題，研究團隊還在ShapeNet數據集上為點云補全任務構建一個大規模數據集ShapeNet-ViPC，模擬了由各種遮擋引起的點云缺失，數據集包含13個類別，38,328個物體，每個物體有24組真實數據，其中包括兩個不完整的點云，這兩個不完整的點云是在兩種典型的數據采集場景下產生的：視圖對齊的圖像（view-aligned image）和完整的真實點云數據。

目前相關論文“View-Guided Point Cloud Completion”已被CVPR 2021收錄，相關論文和代碼也已經開源。

本文將從三個方面解讀這篇論文：

1.研究背景

2.模型細節

3.實驗結果

研究背景

現有的點云補全方法，基本上可以基于幾何、基于對齊（Alignment-based Methods）、基于學習三類方法。其中，幾何方法通過先驗幾何假設直接用可見形狀預測不可見形狀，例如用平滑插值填補空白區域，此外利用對稱等結構性的規律預測缺失數據。此方法需要人工預先設定幾何規律，缺點是只適用于規模較小的模型。

基于對齊的方法需要在數據庫中檢索出于目標對象相似的模型，然后用模塊化模型（temple models）進行對齊，從而完成卻失區域的補全。對于此方法，研究者可以檢索整個三維形狀，也可以利用一部分，或者用合成的形狀替代數據庫中的三維形狀。這種方法雖然可以適用于不同程度的點云補全，但推理優化和搭建數據庫需要昂貴的花費，同時對噪聲非常敏感。

基于學習的方法嘗試構建一個參數化的模型學習完整和不完整點云兩個特征空間之間的映射，正如前文提到的，大多采用基于編碼器-解碼器的神經網絡，即將不完整的點云輸入特征空間，解碼器將特征輸入到傳輸回歐幾里德空間來重建完整的點云。當前，模型大多使用三維像素（Voxels）表示形狀，或者直接對點集進行操作。由于點集和三維像素都是單模態輸入，因此在推斷映射的時候具有不準確性，且此點云補全方法只能對特定類別的物體有效。

在現有基于學習的點云補全框架下，OPPO聯合清華大學利用跨模態數據補充缺失數據的思路，高質量完成點云補全任務。

利用這一思路的關鍵挑戰在于：如何有效將缺失點云提供的局部信息和單視圖提供的全局結構信息進行多模態融合。因為所需信息來自圖像和點云數據，所以涉及到“跨模態 (multi-modality)”，另外局部信息和全局結構信息可能來自不同層級，也涉及到“跨層級（multi-scale）”。

如何解決？團隊首先將單試圖中的粗略點云信息進行重建，并將所需信息轉移到相同的點云域進行解決跨模式問題；其次，利用動態補償預測器（DOP，Dynamic Offset Predictor）差分精調策略（differential refinement strategy ）的特性解決跨層次問題。具體而言，對低質量點進行微精煉（light refinement），對高質量點執行重度精煉（heavy refinement）。

模型細節

首先，ViPC框架的一個重要假設是，雖然輸入的點云數據缺失，但是肯定包含了缺失部分的必要結構信息。

ViPC框架三階段圖

如上圖所示，ViPC框架有三個階段，第一階段用于解決跨模態融合問題；第二階段生成粗點云；第三階段對粗點云增強并生成高質量的完整點云。

第一階段稱為模式轉換，將單視圖模型映射到部分點云的粗略表示，然后進入第二階段，將重建的點云與三維空間中的輸入局部形狀對齊。值得一提的是，該階段區分了輸入的局部點云的點和其他點（輸入單視圖重建），研究員將前者稱之為細部（Fine Part），后者稱之為粗部（Coarse Part）。

一般而言，由于細部比粗部擁有更高的質量，只需要稍微的進行優化。所以在第三階段，研究員們將粗部和細部分別輸入模型，以期望獲得高質量的完整點云。在這一階段，主要用細部作為約束，優化粗部的形狀。與不加約束的優化全局，有選擇的優化能獲得更好的結果。

具體到細節，在第一階段，采用上述編碼-解碼架構將單視圖重建為點云。編碼器包含一系列具有RELU激活函數的卷積層，并輸出7×7×512的feature map作為潛在空間向量。解碼器利用一系列反卷積層（deconvolutionallayers）輸出一個N_r×3矩陣，矩陣每一行代表一個點的笛卡爾坐標。

重建后的點云可以看作包含原點云數據缺失的關鍵信息。所以，在第二階段，研究員先將部分點云和重建后的點云合并，然后提取其中的一個子集作為“合并”的粗略表示。為了使這個粗點云均勻密集，擁有全局結構，且最大化的局部細節，研究員使用了對“合并”最遠點采樣的方式。

將五種類型的特征作為DOP的輸入

第三階段，進一步優化（向上采樣）由細部和粗部合并而成的點云，從而生成完整點云。為了實現有效的優化，除了粗點云本身之外，研究員還利用了第一階段和第二階段獲得的四種特征。其中，DOP與以往Folding-based解碼器或樹形結構的方法不同，它不是直接預測坐標，而是預測每個點相對于其當前位置的空間偏移量（spatial offset）。具體過程如上圖所示。

在損失函數的設計中，由于點云是無序的數據，但損失函數必須是不變的。研究員們充分考慮了倒角距離（CD，Chamfer Distance）和EMD距離（Earth Mover's Distance）。使用CD函數的公式如下所示，第一項是為了讓輸出值盡可能接近真實值，第二項是為了能夠讓輸出點云覆蓋掉真實點云。

EMD距離公式如下，研究員改進了原有公式：

綜上，將這兩個公式結合起來作為損失函數：L=βL_EMD+αL_CD。其中α，β是權衡超參數。在訓練階段使用α=1和β=0.0001作為默認值。

實驗結果

為了檢驗模型的有效性，研究員在ShapeNet-ViPC數據集上與幾個SOTA點云補全方法進行比較，包括AtlasNet、FoldingNet、PCN和TopNet。結果如下圖所示：

計算Chamfer Distance所得出的結果比較

計算F-Score所得出的結果比較。

對比較方法產生的輸出點云進行歸一化處理，并對每個形狀的2,048個點計算CD和F-Score，ShapNet-ViPC在所有八個類別的CD和F-Score指標上都以明顯的優勢優于其他方法。此外，在飛機、水車、燈和汽車等類別上也顯示出更明顯的優勢。

幾種方法生成結果的可視化比較

通過可視化比較，可以明顯看出，FoldingNet的結果非常混亂，且在一些形狀沒有清晰的結構；PCN和AtlasNet缺少一些結構細節。例如飛機的油箱、椅子的扶手；TopNet雖然比前幾個都要好，但是輸入的部分點云中的一些細節在點云補全中沒有被保留下來，例如飛機的油箱的一些點被移到了其他部位；ViPC取得了比上述幾個模型更好的結果，其緣由正如前面所分析的，團隊使用了細部作為優化約束，使得網絡保留了輸入部分點云的局部細節。

綜上，ViPC是一個以單視圖為導向的點云補全框架，它從輔助的單視圖圖像中提取缺失的全局結構信息來推理部分點云的完整部分。ViPC的核心技術貢獻是一種稱為“動態補償預測器”的點云優化網絡；此外，研究員們為點云補全任務構建了一個新的大規模數據集上，為未來點云補全研究提供了新基準。

關注OPPO TECH公眾號，在主頁對話框回復“CVPR?ViPC”即可查看CVPR相關技術報告。

推薦閱讀

OPPO又雙叒叕獲獎了，CVPR 2021再創佳績

總結

以上是生活随笔為你收集整理的CVPR 2021 | 跨模态点云补全新框架ViPC：用单一视图推断完整信息的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。