參考博客：
曠視 R TALK：圖像對齊及其應用
單應性Homograph估計：從傳統算法到深度學習

1. 傳統算法

大致流程：

提取特征點

特征匹配

RANSAC 排除錯誤匹配

求解單應性（Homograph）矩陣

難點：

弱紋理、無紋理（特征少，難以提取）

低光圖像、噪聲干擾（特征集中在局部，對齊效果差）

重復紋理（特征匹配容易出錯）

大前景干擾

大視差

深度視差（單應性變換本身的局限性）

2. 深度學習算法

2.1 Deep Image Homography Estimation（2016）

論文地址

創新：

• 數據集
  

原始圖像取一個矩形區域 A（藍色框）

對 A 的四個頂點做一定范圍（黃色框）的隨機位移（紅色箭頭）得到一個不規則區域（不規則綠色框）

根據位移向量可以求得 ${\mathrm{H}}^{\mathrm{A}\mathrm{B}}$ 和 ${\mathrm{H}}^{\mathrm{B}\mathrm{A}}$

對原圖做 ${\mathrm{H}}^{\mathrm{B}\mathrm{A}}$ 變換，得到矩形區域 B（矩形綠色框）

將 A 和 B 輸入給網絡求得 ${\mathrm{H}}^{\mathrm{A}\mathrm{B}}$

• 網絡結構
  
  
  ??直接預測出單應性矩陣參數比較困難，因此網絡預測的是4個頂點的位移量（右邊回歸網絡），然后再計算單應性矩陣。
  ??文中說沒有置信度會限制一些應用，就搞了左邊的分類網絡，將4個頂點的位移范圍劃分為21個區間，輸出落在每個區間的概率值。

優點：

對弱紋理和無紋理圖像優于傳統算法；

缺點：

訓練數據是人工變形得到的，真實世界圖像存在內容上差異，導致對真實世界圖像的對齊效果較差；

2.2 Unsupervised Deep Homography: A Fast and Robust Homography Estimation Model（2017）

論文地址
代碼地址

創新：

• 網絡結構
  
  ??圖(a)為2.1的監督算法，圖(b)為傳統算法，圖(c)為此文無監督算法。
  ??${\tilde{\mathrm{H}}}_{4\mathrm{p}\mathrm{t}}$ 為預測的4個頂點位移向量，結合4個頂點的位置坐標 ${\mathrm{C}}_{4\mathrm{p}\mathrm{t}}^{\mathrm{A}}$，通過 Tensor DLT（Direct Linear Transform）得到單應性矩陣 $\tilde{\mathrm{H}}$；之后通過空間變換層得到圖像 ${\tilde{\mathrm{P}}}^{\mathrm{B}}$，并與實際圖像 ${\mathrm{P}}^{\mathrm{B}}$ 計算光度損失（像素點間的 L1 損失）。
  ??其中，Tensor DLT（代替 SVD 奇異值分解）和空間變換層都是為了便于梯度計算，使網絡得以訓練。

優點：

相比監督算法，對真實世界圖像的對齊效果較好；

對圖像特征的表達比較魯棒，不像傳統方法很依賴特征點；

缺點：

數據集主要用的航拍圖像，適合單個單應性矩陣做對齊；

深度視差、RANSAC

2.3 Content-Aware Unsupervised Deep Homography Estimation（2019）

論文地址
代碼地址

創新：

• 數據集
  
  制作了一套數據集分為5大類，并為了量化評估，手工標注了5000張圖像作為ground truth；

• Regular（RE）：紋理豐富，單平面遠景適合用單個單應性矩陣對齊
• Low texture（LT）：紋理少
• Low light（LL）：低光圖像
• Small Foregrounds（SF）：小前景
• Large Foreground（LF）：大前景

• 網絡結構
  
  
  令 $\beta \in \{a,b\}$
  ??此文認為直接用像素值當特征不太好，通過 $f(?)$ 獲取深層特征 $F_{\beta }$，并通過 $m(?)$ 生成 mask $M_{\beta }$。這里的特征和 mask 都和原圖 $I_{\beta }$ 分辨率相同，其中 $m(?)$ 的作用與 RANSAC 相似，生成的 mask 可以看作是特征的權重，來衡量特征的重要性，從而可以忽略一些干擾的特征（如干擾前景）。$G_{\beta }=F_{\beta }{M}_{\beta }$ 輸入給后續的單應性估計網絡，同樣預測4個位移向量，并通過一個線性系統得到單應性矩陣 ${\mathcal{H}}_{ab}$。

  損失計算：
  $$\underset{m,f,h}{\min }{\mathbf{L}}_{\mathbf{n}}\left(I_a^{\prime },I_b\right)+{\mathbf{L}}_{\mathbf{n}}\left(I_b^{\prime },I_a\right)?\lambda \mathbf{L}\left(I_a,I_b\right)+\mu {\Vert {\mathcal{H}}_{ab}{\mathcal{H}}_{ba}?\mathcal{I}\Vert }_2^2$$
  其中，
  ${\mathbf{L}}_{\mathbf{n}}\left(I_a^{\prime },I_b\right)=\frac{{\sum }_i{M}_a^{\prime }{M}_b?{\Vert F_a^{\prime }?F_b\Vert }_1}{{\sum }_i{M}_a^{\prime }{M}_b}$，$i$ 表示特征圖和mask中的像素索引

  $\mathbf{L}\left(I_a,I_b\right)={\Vert F_a?F_b\Vert }_1$

  ${\mathcal{H}}_{ba}$ 通過將 $I_a$ 和 $I_b$ 的特征位置互換得到

  ??損失函數前兩項最小化變換后圖像特征的差異，第三項是為了避免全零解最大化原始圖像特征差異，第四項則是讓兩個單應性變換盡可能可逆。
  ??（2021.10.25）后續發現提供的代碼用 torch.nn.TripletMarginLoss() 替代了論文描述的損失函數（TripletMarginLoss解析），基本就是只保留上面損失的1、3項，第4項在 utils.py 里留了個口 getBatchHLoss()；主要問題在于 mask 的訓練，從 loss 分析如果 mask 是全為0那么 loss 會最低，這顯然不對；mask 加入訓練時，github 上說用一個小學習率微調網絡，結合反向傳播和數據來看，前景差異大，背景差異小，則 mask 的前景部分會更快地趨向于0，那么 mask 是有效的，但是關鍵在于這個數據集是分割視頻生成的，背景部分差異很小，后面發現很多對齊用的公開數據集即使是背景差異也非常大，這個 mask 的策略基本就是無效的了。

優點：

解決 RANSAC 問題，主要避免前景干擾

缺點：

深度視差

2.4 DeepMeshFlow: Content Adaptive Mesh Deformation for Robust Image Registration（2019）

論文地址

Mesh Flow 大致就是把圖像劃分為網格，每個網格對應一個單應性矩陣，從而適應圖像中的不同深度平面來對齊。

創新：

• 網絡結構
  
  ??ResNet-34 后面連接 $K$ 個分支（$K=3$），每個分支從一個自適應池化層開始，并通過卷積層生成一個特定大小的 mesh flow：

  ${\mathcal{M}}_1^{\prime }\to \left(\frac{H_g}{16}+1\right)\times \left(\frac{W_g}{16}+1\right)\times 2=2\times 2\times 2$

  ${\mathcal{M}}_2^{\prime }\to \left(\frac{H_g}{4}+1\right)\times \left(\frac{W_g}{4}+1\right)\times 2=5\times 5\times 2$

  ${\mathcal{M}}_3\to \left(H_g+1\right)\times \left(W_g+1\right)\times 2=17\times 17\times 2$

  然后將粗尺度 ${\mathcal{M}}_1^{\prime }$ 和 ${\mathcal{M}}_2^{\prime }$ 上采樣至 ${\mathcal{M}}_3$ 分辨率，并融合 ${\mathcal{M}}_1$、${\mathcal{M}}_2$、${\mathcal{M}}_3$。

  ??mesh flow 的融合通過一個場景分割網絡將圖像 $I$ 分割為 $K$ 個類別，輸出大小為 $\left(H_g+1\right)\times \left(W_g+1\right)\times K$，融合方式是直接按分類結果選擇每個點的位移向量用哪個 mesh flow 的對應值，最終得到 ${\mathcal{M}}^{?}$。之后的 loss 計算與 2.3 相同。

優點：

解決深度視差問題

2.5 RANSAC-Flow: generic two-stage image alignment（2020 ECCV）

論文地址
代碼地址

論文代碼詳細分析

創新：

• 單應性（粗對齊）與光流法（細對齊）結合
• 迭代方式做對齊

優點：

??按論文中的說法，單應性對圖像細節對齊的不好，而光流法對差異較大的圖像無法對齊，而此方法可以對差異大的圖像細節也對齊好，揚長避短地結合兩種對齊方法。

細節對齊效果好

對各種差異很大圖像也能對齊

網絡基本沒做什么優化就有很好的效果（論文只是訓練了細對齊網絡，粗對齊網絡直接是遷移過來都不微調；直接用提供的模型在自己雙目相機采集的小差異數據上就有很好的對齊效果）

缺點：

??論文中展示的為相對效果較好（較容易對齊）的結果，下圖為挑選的幾種不同角度的缺點，由于最終的對齊參數為一個像素級對齊矩陣，所以主要缺陷還是與光流法類似。

無法判斷需要對齊的部分
??此例，原始圖像為目標圖像右上一小塊區域，但是算法會盡可能將全圖都對上。

光流法的圖像局部扭曲現象
??像素級對齊通常在低分率的特征圖上做對齊然后插值到原圖的高分辨率，目前判斷扭曲現象是插值造成的。

前景遮擋
??前景遮擋情況下的肉眼觀感很差，存在大面積扭曲，不如 2.3 的效果（無視前景做對齊）。

慢
??1660Ti的筆記本上約10s一對圖像。

2.6 GLU-Net: Global-Local Universal Network for Dense Flow and Correspondences（2020 CVPR）

論文地址
代碼地址

總結

以上是生活随笔為你收集整理的图像对齐深度学习算法调研的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。