作 者 信 息

馬國寶1，俞　友2,3

(1. 青海省基礎測繪院，青海　西寧　810000；2. 湖南省地質礦產勘查開發局402隊，湖南　長沙　410004；3. 湖南省勘測設計院，湖南　長沙　410004)

“

【摘要】針對無人機傾斜影像存在匹配困難問題，提出融合多種特征優勢的無人機影像匹配算法。首先，提取MSER(Maximally Stable Extremal Regions)局部特征穩定區域，并用SIFT(Scale Invariant Feature Transform)描述子對特征進行描述；其次，利用K-D樹的搜索策略進行特征點的快速檢索，采用NND算法獲取初始的粗匹配點對，根據結果計算影像間的仿射變換關系；最后，對SIFT特征點進行約束NCC匹配，利用RANSAC算法剔除外點，完成最終的影像匹配。實驗結果表明，該算法對存在較大傾斜角度的無人機影像效果較好，在匹配正確率和仿射不變性兩方面都優于SIFT算法。

【關鍵詞】MSER；SIFT；傾斜攝影；影像匹配

【中圖分類號】P235.2 【文獻標識碼】A 【文章編號】1672-1586(2019)02-0116-04

”

引文格式：馬國寶，俞　友. 多特征結合的傾斜無人機影像匹配方法[J].地理信息世界,2019,26(2):116-119.

正文

0　引　言

無人機影像匹配技術是采用一定的算法在具有相同區域的兩幅影像上尋找同名點的過程，進而能夠正確地計算兩張影像空間位置關系。無人機影像匹配是后期影像拼接、高精度的立體測圖、三維城市模型重建、影像檢索等領域作業流程的必要步驟，同時也是計算機視覺領域的關鍵技術。常用的基于影像特征的匹配算法，研究熱點主要集中在平移、旋轉、尺度與光照不變性，如MSER算法、SURF算法、SIFT算法。這些算法對變形較小的影像效果較好，由于無人機平臺的不穩定性，當拍攝的影像間存在尺度變化較大或者旋轉角度較大時，現有的算法就會遇到難以匹配或者匹配精度較低的情況。文獻提出混合特征在大仿射影像上的匹配應用，通過大量的試驗對比得出多特征融合的影像匹配算法可以得到優于單一特征的實驗結果，但文中利用兩種同一類型的局部穩定特征，算法的應用場景單一、魯棒性不強。文獻首次提出采用尺度旋轉不變的SIFT特征進行圖像匹配的方法；經過多年的研究，文獻通過試驗對比分析得出SIFT描述子不僅具有很強的尺度旋轉不變性，還具有很強的可區分性。但針對旋轉角度較大的無人機影像僅采用MSER特征或者SIFT特征進行匹配時，匹配結果不理想，誤匹配點對較多。

1　多特征結合的影像匹配方法

1.1 概述

針對以上問題，本文采用一種MSER特征與SIFT描述子相結合的無人機影像匹配方法。首先，根據MSER算子提取的仿射不變區域特征，進行局部擬合生成特征點集，利用SIFT特征描述子對生成的特征點集進行表達；其次，利用K-D樹快速搜索方法，以最鄰近與次鄰近比值算法提取初始特征匹配點集，并估算影像間的映射關系；最后，對初始匹配點鄰域內SIFT特征點進行約束NCC匹配，利用隨機抽樣一致性方法剔除初始匹配點對中的外點，獲得最終精匹配點對。通過無人機影像進行試驗，與常用的匹配方法相比，該算法提高了影像在存在旋轉角度較大情況下的匹配正確率。

1.2 MSER 特征提取

J.Matas最早在論文中提出最大穩定極值區域MSER算子，經過相關學者的驗證被業界認為是性能較好的仿射不變區域，對于存在仿射變化的影像灰度具有不變性，且該區域的支持具有相對灰度變化穩定，可以用于檢測不同精細程度的區域。當使用不同的灰度閾值對影像進行二值化時得到的最穩定的區域，前后相鄰閾值影像間的連通區域，最終得到MSER。因此，MSER分為MSERs+與MSERs-。對于從同一場景得到的兩幅具有仿射變換的影像來說，提取的放射不變區域在扭曲變形、尺度大小與旋轉方向上存在差異。雖然MSER得到用橢圓型擬合的仿射不變區域，為了方便進行后續處理，需要將橢圓型擬合并歸一化為圓形，同時放大MSER區域。

對于具有相同區域的兩幅影像來說，提取的仿射不變MSER特征區域擬合成橢圓區域，如果直接采用SIFT特征描述子進行描述，由于MSER特征區域存在一定存在的仿射變形，那么仿射不變區域存在的扭曲變形將會影響提取特征區域旋轉角度和尺度大小。因此，考慮進一步的利用SIFT特征描述子對MSER特征區域進行描述，需要對提取的MSER特征區域進行歸一化處理以減弱這種差異對后期匹配結果的影響。對于MSER區域歸一化，首先以初步提取的MSER特征不變區域為基準將其擬合區域外擴3倍形成新的特征橢圓計算區域，以此為基礎提取特征，并對其進行處理生成指定大小的區域；然后對歸一化后的區域影像進行特征描述子的提取。經過這些處理后，就會獲得許多具有放射不變性而且魯棒性較好的特征區域。MSER特征歸一化擬合橢圓的方程如下：

通過公式(1)可以看出，局部穩定的MSER特征包含兩部分信息，分別表示為特征區域的中心坐標(u ,v )以及橢圓參數(a ,b ,c )。

1.3 SIFT 特征提取與描述

SIFT特征提取首先使用高斯濾波函數來構造影像尺度空間，并在此基礎之上對影像進行不同的重采樣，生成金字塔分層結構，其次采用不同的高斯函數的濾波因子對金字塔分層結構進行濾波，最后對于相鄰的高斯濾波影像進行相減生成高斯差分金字塔分層結構，以達到特征點尺度不變的目的，并提供更為穩定的影像特征極值點。其獲得的影像可表達為：

式中，G (x ，y )表示高斯函數，L (x ，y )為尺度空間影像，I (x，y?)為原始影像，*表示影像與尺度空間的卷積操作。

對于構建完成的高斯差分金字塔分層結構，為了提取高斯差分尺度空間上的極值點，將待求尺度空間下的像素點與相鄰尺度空間下的18個點以及相同尺度空間下局部相鄰的8個點的像素值進行分析比較，如果該點為極值點，則標記為候選特征點。為保證候選點的穩定性，采用一定的方法，剔除后選點中位于影像邊緣的點與對比度比較低點；然后采用多項式擬合的方法精確確定特征點的位置，并將特征點局部域內影像點的梯度方向直方圖上最大值所對應的方向作為特征點的主方向。并記錄特征點對應的坐標、主方向以及尺度。像素梯度大小和方向計算如式(3)、式(4)：

為使SIFT特征具有旋轉不變性，要將坐標軸進行旋轉，使其與關鍵點在同一個方向。對于描述區域的大小，通常取16×16大小的鄰域窗口，并劃分為16個4×4的子塊。然后以該特征點為中心取8×8像素的窗口，計算各個像素的模值大小與梯度方向，再用高斯加權為其賦予權值，像素距離特征點越近其梯度方向信息貢獻就越大。最后在每個4×4的小塊上計算8個方向的梯度方向直方圖，計算每個梯度方向的累加值，即可形成一個特征向量，每個特征向量均包含8個方向向量信息，再依據位置依次排序，就形成一個128維的特征向量。其中，第1維對應于第一個子區域的第一個梯度方向，第2維對應于第一個子區域的第2個梯度方向，第9維對應于第二個子區域的第一個梯度方向，依次類推。

1.4 集成MSER與SIFT不變特征的匹配

匹配基本步驟如下：

1)分別獲取參考影像與待配準影像的MSER特征區域并進行橢圓擬合，求得特征鄰域的協方差矩陣U ，根據對全部MSER特征鄰域歸一化并用SIFT描述子進行描述。

2)采用K-D樹快速搜索方法，搜索最近點和次近點，并計算最近距離與次近距離的比值，將小于閾值的標記為粗匹配點對；利用粗匹配點對中部分特征點估算影像透視變換模型參數用影像的初步校正。

由于，采用128維的高維向量描述SIFT不變特征，存在一定差異的特征點的描述子表現形式差別較大；因此，可以采用最近距離和次近距離的比值作為待匹配點的相似程度。其數學表達式為Df?/Ds<τ.其中，Df?表示與樣本特征點具有最短歐式距離的特征點，Ds?表示具有比最近鄰距離稍長的歐式距離的特征點，τ?是指定的閾值。假設基準影像和待匹配影像的特征點滿足上述的關系，則標定為正確的匹配點對。采用這種方法檢測到的次近距離比最近距離遠的多，能夠檢測到穩定、可靠的初始匹配點集。

3)分別對兩幅影像提取SIFT特征點，然后根據粗匹配區域間的仿射變換關系：

對粗匹配點鄰域內SIFT特征點進行約束NCC匹配，若粗匹配點鄰域內有50%以上SIFT點能夠正確匹配時，認為該MSER粗匹配點為同名像點，反之剔除。

4)利用隨機一致性算法剔除外點，獲得最終匹配點集并解算單應矩陣H ，即基準影像與待配準影像間的幾何變換關系。

2　影像匹配實驗

為保證文中提出多特征融合的無人機影像匹配方法的有效性，限于篇幅限制，文中采用一對立體影像對進行試驗。實驗采用的影像是上午九點左右和下午三點左右采用國產大疆無人機采集的實驗數據，影像的空間分辨力分別約為0.4 m、0.7 m。基準影像與待匹配影像間存在約為25°的視角差，影像大小為5 000×5 000?pixels(將其縮小4倍為1 250×1 250)。

匹配流程如下：

(1)初始匹配。采用MSER算子檢測局部穩定區域，如圖1a所示；對檢測出來的穩定區域進行擬合生成特征點集，然后利用SIFT特征描述子對特征點集進行表達，并應用最近鄰與次近鄰距離比值小于0.7篩選匹配點集 ，得到較多的初始匹配點集數目，這樣避免正確的匹配點被過濾掉，匹配點數目為571，如圖1b所示，從初始匹配點對中隨機選取5對同名點，利用最小二乘方法計算影像間的仿射變換模型參數，對影像進行粗略的矯正。

2)精匹配。采用SIFT算法分別對兩幅影像提取SIFT特征點，然后根據粗匹配區域間的仿射變換關系，對初始匹配點對鄰域內SIFT特征點進行約束NCC匹配；最后利用隨機抽樣一致性剔除匹配點對中的外點，獲得精匹配點集，效果如圖1c所示。

a MSER特征

a MSER features

b SIFT特征

b SIFT features

c 匹配結果

c Matching result

圖1　匹配過程

Fig.1 Matching process

由表1可知，由于MSER算法提取的特征區域數目較多，出現區域層疊覆蓋現象，特征區域重復表達現象明顯造成最終的精匹配數目、匹配正確率都是最低的。在最終的精匹配結果中，本文提取的匹配點對數目比SIFT算法提取的特征點對少30個。因為在精匹配階段本文方法采用約束NCC匹配中少量的正確點也被剔除造成的，但本文最終的正確匹配率超過92%，SIFT算法僅78%，高出十四個百分點。這也進一步說明，與MSER算法和SIFT算法相比，該算法對存在旋轉角度較大的無人機影像的匹配能力強。通過運用最小二乘法計算影像間的仿射變換參數，估計該方法的仿射誤差，仿射誤差的大小間接表示提取匹配點集的精度。從表1也可以看出本文方法的運行時間比MSER算法、SIFT算法長，這是由于本文方法在設計時多了精匹配過程。

表1　匹配各項數據及不同方法比較

Tab.1 Matching data and comparing different methods

3　結束語

針對傾斜的無人機影像存在較大的旋轉角度問題，提出的多特征融合的匹配方法，通過試驗驗證該方法在無人機影像上匹配正確率、仿射不變性兩個方面都優于MSER算法和SIFT算法。本文方法僅在同源的無人機影像上分析試驗，對于能否在異源的無人機影像和衛星影像進行匹配還有待于確定，這也是下一步主要的研究方向之一。

本期回顧

理論研究

?·基于地理空間信息的文化遺產可持續發展指標建設·基于Landsat 8的成都市城市熱島時空格局變化研究·基于視頻場景多因素的人群運動狀態分析·巖體邊坡影像的控制測量方法研究·基于套件技術的一站式GIS系統框架結構研究·JPEG 2000編碼參數對遙感影像壓縮質量的影響·基于Mann-Kendall法的長三角城市集聚效應空間結構研究·3S技術在我國生態環境動態演變研究中的應用進展·基于異常誤差補償的多期水準網動態平差·基于立體網格的放射性污染物擴散過程模擬與表達創新應用·基于感興趣點和滴滴數據的打車需求分析·新世紀版《國家普通地圖集》的內容策劃與結構設計·基于支持向量機的新聞事件類型識別·國土資源執法監察動態巡查系統設計與實現·基于AutoCAD的網絡地圖服務系統技術探討·一種基于地理格網的三維模型數據統一表達方法·基于用戶歷史瓦片瀏覽記錄的興趣點智能搜索方法優化研究·稀無控制點無人機遙感影像幾何定位方法研究·貴州省市州域經濟差異的時空演變·基于拓撲關系的BIM室內封閉空間邊界建筑要素搜索方法研究·基于升降軌SBAS-InSAR技術的城市地區地表沉降監測

郵箱變更聲明

·《地理信息世界》郵箱變更聲明

網站開通公告

·關于開通《地理信息世界》網站的公告

誠聘特約審稿專家

·誠聘|《地理信息世界》誠聘特約審稿專家

專題組稿

·約稿函|《地理信息世界》關于開辟“博士綜述論壇”專欄的約稿函

總結

以上是生活随笔為你收集整理的过程声明与同名事件或过程的描述不匹配_多特征结合的倾斜无人机影像匹配方法...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。