稠密點云重建MVS——基于多視角深度圖像

• 前言
• 一、整體流程*
• 二、算法原理
• • 1.全局視角圖像序列選取方法
  • 2.局部視角圖像序列選取方法
  • 2.深度與法向量優(yōu)化算法
• 基本概念
• • 極線搜索——查找圖像中某個像素點在另一幀圖像的對應像素點
  • 光度一致性——衡量兩個模板的相似程度

---

前言

稠密點云重建主要介紹利用多視角的RGB圖像重建三維模型的方法，主要包括三種：基于體素、基于深度圖像、基于空間patch。
本節(jié)將介紹基于深度圖像的三維模型重建算法。利用多幀RGB圖像計算獲得深度圖像，實現(xiàn)三維模型重建。
（為了保證文章的完整性，一些簡單的基本概念在文末給出，如有需要可以參照）

---

一、整體流程*

輸入多幀同一場景不同視角RGB圖像，選取其中一幀或幾幀圖像作為參考圖像，利用輸入的多幀圖像恢復參考圖像的深度和法向量信息，獲得參考圖像的深度圖和法向量圖。最后對恢復的參考圖像進行融合。
（怎么從多幀RGB圖像中恢復其中某幾幀圖像的深度和法向量信息呢？要知道一幀圖像里包含了非常多的像素，要對絕大部分像素的深度與法向量進行恢復看起來似乎不可能。其實大體思想是：對輸入的圖像進行稀疏3D點云重建，獲得特征點的三維信息，只要將這些點投影到參考圖像上，就可以恢復這些特征點在參考圖像上對應像素的深度信息，那么接下來就是利用區(qū)域生長的思想以這些像素點為中心，確定優(yōu)化方法，逐步將他們周圍點的信息恢復）

1、預處理部分

• 稀疏3D點云重建(SFM)
  檢測輸入的每幀圖像特征點，并進行特征點匹配，通過匹配的特征點恢復相機的內(nèi)外參數(shù)（相機內(nèi)參：焦距、徑向畸變系數(shù)，相機外參：相機的位姿R，t），重建特征點的空間3D坐標。
• 全局視角圖像序列選取
  從輸入圖像中選一幀作為參考圖像。通過一些指標在輸入圖像中篩選出符合要求的圖像。這里我們希望篩選出來的圖像和參考圖像，它們相鄰圖像視場之間的拍攝視場角合適（相鄰圖像視場角太小會導致基線短，重建誤差大，視場角太大則兩張圖差異太大也難以重建成功）。選取方法詳細介紹見本文第二部分算法原理。
  
  2、深度圖像生成
• 種子點選取
  從獲得的3D點云中，篩選出那些可以投影到參考圖像上的3D點，并且該點能投影到至少1幀其他全局視場圖像（有些點按照投影模型無法投影到參考圖或其他圖的成像面上）。
• 種子點深度與法向量信息恢復
  將3D點投影到參考圖像上，以3D點到參考圖像相機坐標系原點的距離為投影點像素初始深度，3D點到相機坐標系原點的方向為初始法向量。
  上面獲得了像素點的深度與法向量的初始值，我們需要對這些像素點的深度和法向量進行優(yōu)化。以這些投影像素點為中心建立正方形模板，將每個模板里的所有像素投影到空間3D坐標中，以一個模板為例，再次把一個模板里的3D點投影到其他視角的圖像上獲得投影的像素點，優(yōu)化像素點的深度與法向量信息使得在參考圖像上的模板與在其他視圖上的模板投影差異盡可能小。詳細優(yōu)化算法見本文第二部分算法原理
  為什么要建立模板，只是為了求它的法向量嗎？其實為了衡量參考圖像上的這個像素點與其他圖像上像素點的相似性，僅憑一個像素點難以很好的表征，所以才引入了模板來表征中心像素點區(qū)域的特征，而參考圖像與其他圖像的模板特征的差異是優(yōu)化深度和法向量信息的關(guān)鍵。
• 其余像素點深度與法向量信息恢復
  計算種子點優(yōu)化后結(jié)果的置信度，參考下文基本概念光度一致性——衡量兩個模板的相似程度，按照置信度高低建立隊列，對隊列中的點進行優(yōu)化，并將這些點的周圍點加入隊列中。如下圖左圖所示，把黃色種子點深度和法向量值賦給相鄰的上下左右四個像素點，作為他們的深度和法向量初值。并將這些點加入隊列進行優(yōu)化。
  如下圖右圖所示，當前優(yōu)化完的種子點（綠色）四周有已經(jīng)被優(yōu)化過的點（紅色），和未被優(yōu)化過的點（藍色），比較綠色點與紅色點的置信度大小，如果綠色點的置信度高，則把綠色點的信息賦給紅色點。
  
  3、三維稠密點云
  根據(jù)深度圖每個像素的深度，利用相機的逆投影矩陣可以將深度像素點投影到三維空間，獲得3D點云。思路很簡單，具體實現(xiàn)可以參考一些其他文章。

二、算法原理

1.全局視角圖像序列選取方法

2.局部視角圖像序列選取方法

2.深度與法向量優(yōu)化算法

---

基本概念

極線搜索——查找圖像中某個像素點在另一幀圖像的對應像素點

參考圖上某個像素點的空間3D點必定在該點與相機中心的連線上。那么該空間3D點在另一幀圖像上的成像像素必然是3D點與相機2中心的連線與圖像相交處。所以如果我們需要搜索參考圖像上的某個像素點與另一幀圖像上哪個像素點是同一個點，只需要搜索下圖中的極線(Epipolar line)即可。
根據(jù)對極幾何原理我們知道極線的表達式計算方法：

光度一致性——衡量兩個模板的相似程度

好了，上面極線搜索說到可以在另一幀圖像上極線經(jīng)過的像素范圍內(nèi)，搜索參考圖像的對應點，那么，當我們查找到了一對對應點，應該用一個指標來衡量這個查找的可信程度（置信度），這里我們以參考圖像上的這個像素點和找到的另一個像素點為中心建立分別一個模板，兩個模板越相似，則這對點越有可能是正確的對應點。這里我們引入光度一致性來衡量兩個模板的相似程度，這里我們常用歸一化互相關(guān)（NCC）來衡量他們的相似程度。

總結(jié)

以上是生活随笔為你收集整理的稠密点云重建MVS——基于多视角深度图像的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。