Remote Sensing Image Super-resolution: Challenges and Approaches

• 遙感圖像超分辨率的挑戰和方法
• • 1 摘 要
  • 2 遙感觀測模型
  • 3 遙感中的SR模型
  • • 3.1 基于學習的SR模型
    • 3.2 基于內插的SR模型
    • 3.3 頻域SR模型
    • 3.4 概率論SR模型
  • 4 實驗結果
  • 5 結論
  • 參考文獻

遙感圖像超分辨率的挑戰和方法

1 摘 要

隨著衛星圖像處理的發展，遙感在現代社會中也越來越重要。然而，由于目前成像傳感器的局限性和復雜的大氣條件，空間分辨率、光譜分辨率、輻射分辨率和時間分辨率有限，我們在遙感應用中面臨著巨大的挑戰。因此，超分辨率技術引起了人們的廣泛關注，通過該技術可以提高低質量低分辨率的遙感圖像。本文討論了遙感圖像超分辨率中的挑戰，回顧了相關方法。更具體地說，我們回顧并討論了不同類別的遙感技術，即基于學習的、基于插值的、基于頻域的和基于概率的方法。此外，還對超分辨率的應用和未來的研究方向進行了討論。

在遙感成像應用中，需要高質量的圖像，而高分辨率(HR)圖像通常是遙感圖像分析和處理過程中所需要的。然而，由于遙感圖像傳感器的限制和其他因素，如光學系統畸變、大氣干擾、運動、成像系統噪聲等，RS圖像總是失真。同時，獲取的低分辨率RS圖像在許多遙感應用中存在困難，如地圖更新、道路提取和軍事目標識別等。因此，從低分辨率(LR)圖像構建HR圖像是非常有用的。這樣就可以提高LR圖像的分辨率與補充信息，提高圖像質量。SR技術可以突破圖像采集設備的分辨率限制，在亞像素級實現LR圖像序列的互補信息的圖像重建。因此，SR技術可以在資源開發、環境監測、災害研究、全球變化分析等方面提供幫助。

超分辨率(SR)技術是用單幅低分辨率(LR)圖像或LR圖像序列重建HR圖像。LR圖像序列的亞像素移動通常用于SR圖像重建。它們可以從不同傳感器的同一區域圖像中同時獲取。SR重建技術是由Harris[1]和Goodman[2]在20世紀60年代提出的，旨在利用單幅LR圖像重建HR圖像。1984年，為了提高Landsat TM圖像的空間分辨率，Tsai和Huang[3]首次提出了多幀LR圖像的重建思想。經過多年的發展，超分辨率重建技術已經趨于成熟，并在很多領域得到了應用。SR技術因其簡單易行的定位模型(registration model)，可以實現對視頻圖像、靜態圖像的良好重建。但對于遙感影像，由于地形地貌復雜，定位難度較大。SPOT-5衛星系統中的超級模式是最成功的應用之一。它通過使用硬件方法和影像處理方法來克服注冊的問題[4]。本文其余部分的組織結構如下：

第一節，介紹SPOT-5衛星系統中的超模式。

第二節，首先介紹了觀測模型，并描述了遙感圖像的退化過程，然后介紹了四類SR圖像重建技術。

第三節討論了四類SR圖像重建技術。

第四節介紹了不同現狀SR圖像重建方法的實驗結果。

第五節是本文的結論。

2 遙感觀測模型

圖像在采集過程中會出現各種退化。降級過程可以通過四種操作[4]，[5]，[6]來建模。

• 翹曲（Warping）：平移、旋轉和縮放。
• 模糊（Blurring）：低通濾波器。
• 下采樣（Down-sampling）：按q1×q2的系數進行下采樣。
• 噪聲（Noise）：大概率的白高斯（white Gaussian）。

該模型可以用矩陣形式表示：

Yk=DkBkWkX+Nk，k=1，2，…，Z （1）

其中

• X為原始HR圖像，大小為M1×M2，
• Z為LR圖像的總數，
• Wk為翹曲矩陣，保留圖像采集過程中的運動信息，
• Bk為模糊矩陣，代表光學系統問題引起的模糊因子，
• Dk為下采樣算子，Nk通常表現為高斯噪聲，
• Yk為第k張LR圖像，大小為L1×L2，其中L1=M1/q1，L2=M2/q2。

HR圖像和LR圖像均采用詞序向量形式表示，大小分別為M1M2×1和L1L2×1。
根據公式1，降級程序可以簡化模型，使Ak=DkBk。則公式表示為

yk＝Akx＋nk，k＝1，2，…，z （2）

HR圖像與LR圖像相關的觀測模型如圖1所示。SR重建是一個可行的圖像退化的逆過程。因此，解等于確定矩陣Ak。即

• （一) 運動估計得到Wk
• (二)模糊估計得到Bk
• (三)噪聲估計，確定Nk

這三個矩陣都是稀疏的，應從LR圖像中估計，因此SR重建是一個病態問題（ill-posed problem）[7]。

3 遙感中的SR模型

超分辨率重建方法是指從低分辨率（LR）圖像序列中生成高分辨率（HR）圖像的技術。如本文前面所述，遙感中使用的SR圖像重建技術可分為四類。

• (i)基于學習的方法
• (ii)插值法
• (iii)基于頻域的方法
• (iv)基于概率論的方法

3.1 基于學習的SR模型

基于學習的方法是目前SR重建的一個重要研究方向。它的目的是通過訓練數據庫中LR和HR圖像之間的對應塊（patch）來學習事先的映射知識。映射模型可以是一組學習到的插值核，也可以是LR圖像塊的查找表或LR圖像塊和HR圖像塊之間的映射系數。
稀疏表示法是基于學習的SR方法之一。它最早是由Yang等人在[8]中提出的，可以分為三個步驟。首先，從訓練集中簡單隨機采樣的訓練補丁中學習一個超完全字典。然后，將每個測試補丁用具有稀疏系數的過完備字典表示。最后，用加權系數重建HR圖像。

在[9]中，應用稀疏表示法重建遙感圖像。過完全字典可以分為兩部分，原始字典對和殘差字典對。第一種是從單幅LR圖像中獲得初始HR遙感圖像。第二種是基于學習的方法，從原始HR圖像中重建有損信息。據考證，采用這種方法，可以有效提高分辨率。支持向量回歸（SVR）是一種內核回歸方法，具有良好的非線性映射能力。Zhang等人在[10]中利用支持向量回歸(SVR)方法學習HR圖像和LR圖像之間的先驗知識。將[10]中缺乏高頻的插值圖像過度采樣到相同分辨率，采用雙線插值法進行插值。在重建HR圖像時，利用從SVR中學到的先驗知識來估計高頻成分。[10]的目的是將LR ETM+圖像轉換為單一的HR ASTER圖像。[10]的實驗結果表明，即使是少量的樣本，SVR也能很好地學習模型。

3.2 基于內插的SR模型

與基于學習的方法相比，SR圖像重建的插值法是一種比較直觀的方法。它可以分為三個步驟。

識別步驟：SR重建的基礎。

重建步驟。將LR圖像插值到規則的HR網格中。插值方法可以是二次插值、投影到凸集上(POCS)、迭代反向傳播(IBP)等。

去模糊化步驟：去除模糊和噪聲，提高重建圖像的分辨率。

在這三個步驟中，步驟(ii)是插值SR的核心步驟。步驟(i)和(iii)是輔助步驟。Aguena等[11]采用POCS方法來做融合過程中的插值。POCS算法最早是由Stark和Oskoui[7]提出的，他們成功地將先驗知識以凸集的形式結合到模型中。

[11]的目標是得到多光譜(CBERS-1的波段)和全色(Landsat-7的波段)圖像的組合特征。該過程可分為兩步：插值重建和綜合。在這里，我們只介紹重建過程。POCS最重要的特點是可以很容易地將解的先驗信息納入到模型中，找到一個滿足限制條件的點。凸約束集由所有的限制條件組成。通過迭代投影到凸集上，可以在交點中找到所需的點，并將其納入SR重建圖像中。

迭代反向傳播(IBP)也是最流行的插值方法之一。在[12]中，通過成像模糊模擬LR圖像與觀察到的LR圖像之間的差值進行反向傳播，從而估算出SR圖像。重建過程是通過迭代最小化誤差能量來實現的。在原有方法的基礎上，Li等人[13]對遙感圖像應用了改進的IBP，并對每個傳感器分別選擇模糊核。此外，在反向傳播過程中，對誤差圖像采用了不同的系數。通過對一組由一個ETM+通道生成的圖像和一組ALOS圖像序列進行實驗，將得到SR重建結果。

3.3 頻域SR模型

頻域的SR模型通過傅里葉變換和反傅里葉變換（或其他變換，如小波變換）來解決重建問題。頻域SR重建的主要思想是以較低的計算復雜度直觀地增強高分辨率信息。它可以分為四個步驟。

(i)圖像注冊；

(ii)向頻域變換；

(iii)重建；

(iv)回空間域變換。

為了提高圖像在頻域的分辨率，我們可以增加圖像的高頻成分。其中一個可行的方法是避免別名效應。Chen等[14]采用頻譜去鋸齒的方法重建HR圖像。LR圖像首先由原始HR遙感圖像的子采樣和傅里葉變換生成。為了得到轉換參數，采用相位相關法。有了轉換參數和光譜去鋸齒法，就可以重建圖像。最后，通過反傅里葉變換生成HR圖像。與雙線性插值法相比，去鋸齒法的結果表現更好。基于小波插值的方法將小波變換和插值結合起來，最早由Nguyen和Milanfar[15][16]提出。

在[17]中，Tao等人首先用DWT方法對遙感圖像進行分解。小波系數插值圖像可以通過最近插值、雙線插值或雙立方插值生成。通過反離散小波變換得到SR圖像。結果表明，小波-小波插值組合算法有效地保護了原HR圖像的高頻信息。傅里葉-小波正則化解卷(ForWarD)是另一種恢復HR圖像的方法[18][19]。它利用傅里葉域和小波域的標量收縮來實現噪聲正則化和重建。ForWarD是一種兩步算法。第一步是基于傅里葉的Weiner濾波，這是為了建立一個銳利的圖像。第二步是應用靜止小波變換進行去噪。對NASA的幾幅衛星圖像進行了測試。結果表明，該算法可以應用于任何分辨率的圖像，以實現高分辨率。

3.4 概率論SR模型

由于SR重構問題是一個不確定的問題，因此必須附加一些先驗條件和限制，以將SR重構問題轉化為一個確定的問題.，由此提出了一些基于概率論的方法。貝葉斯方法由于可以將先驗概率密度函數與先驗約束條件結合起來，因此在SR重建中得到了廣泛的應用。其基本思想是同時考慮LR觀測圖像和未知HR圖像的先驗知識，用貝葉斯理論得到HR圖像。最大似然(ML)方法是最流行的基于貝葉斯的方法之一，它是由Tom和Katsaggelos[20]首先提出的。解決的方法是找到HR圖像的ML估計方法，關鍵點是求解概率密度函數（PDF）。

最大后驗(MAP)方法是另一種基于貝葉斯的流行方法，該方法假設在LR圖像序列存在的條件下，通過最大化其后驗概率可以獲取HR圖像。Wang等[21]提出了一種基于迭代優化的MAP方法，在保留多光譜圖像光譜信息的前提下重建SR圖像。除了一組SPOT XS LR圖像外，還需要全色圖像。通過高通濾波器，可以提煉出高頻信息，用于與插值的多光譜圖像相結合。基于映射計算均值和方差后，將得到初級HR圖像。然后提出基于MAP的迭代優化方法，以收到進一步提高分辨率和避免質量下降的效果。通過這種方法，重建后的HR圖像的空間分辨率得到提升，且光譜信息損失小。

總變異(TV)是一種有效的基于正則化的SR方法，具有保留邊緣的能力。然而，偽邊緣也可以被保留并產生平滑區域。針對這一缺點，袁志明等[22]提出了一種基于遙感圖像的區域空間自適應總變異(RSATV)模型，明顯改善了偽邊緣。首先，逐個像素提取空間信息，并采用中值濾波器對其進行增強。然后構建空間權重，并進行過濾。之后，采用K-means聚類進行分類。通過這兩個過濾過程，分別對偽邊緣進行抑制。最后，對于每個區域，聚類中心值代表正則化強度。所以，總變正則化由基于像素的轉變為基于區域的。在遙感上測試，這種方法不僅可以保留邊緣，而且對噪聲也很健壯。tikhonov正則化也是一種SR重建方法，它以Tikhonov A N命名[23]。它是解決不確定問題的一種常用方法。通過加法，Tikhonov正則化在均方誤差成本函數的基礎上生成原圖像的先驗概率函數。與其他正則化方法相比，Tikhonov正則化可以同時保持邊緣和平滑噪聲。

4 實驗結果

本文利用從ISPRS下載的多倫多市中心上空拍攝的數字航空圖像做遙感SR重建實驗。如圖2所示，將尺寸為512×512的裁剪圖像作為原始HR圖像，生成LR圖像。在圖1所示觀測模型的基礎上，通過亞像素精度的移位和變焦系數的下采樣，得到4幅LR圖像（每幅尺寸為256×256）。我們采用四種方法來比較SR重建的效果。稀疏表示法(SRP)、POCS、小波插值法(WI)、Tikhonov正則化法(TR)。POCS和Tikhonov Regularization方法需要一個LR圖像序列來利用互補信息。我們將四幅LR圖像全部作為輸入，但小波插值法和Tikhonov正則化法需要一連串的LR圖像來利用互補信息。然而，小波插值法和稀疏表示法只需要一張LR圖像。所以我們取第一幅LR圖像作為輸入。特別是對于稀疏表示法，我們采用論文的官方代碼[8]。訓練數據為100張數字航空圖像。我們選擇50000個補丁來訓練另一個字典。

結果分別如圖2所示。為了評價重建結果的質量，與原始HR圖像進行比較，我們采用了三個質量評價因子。PSNR(Peak Signal to Noise Ratio)、MSE(Mean Squared Error)、SSIM(Structural Similarity)。我們還計算了每種方法的時間成本。所有的評價指數都在表I中列出。時間成本的獲得其中CPU為Intel? Xeon? E5-2630 v2，雙核處理器，主頻2.60GHz，內存64G。根據表I中的結果，我們可以得出結論，WI方法在我們測試的RS圖像上優于其他方法。而且，WI方法的速度比其他方法快。值得注意的是，SRP方法的訓練過程需要較長的時間來獲得補丁數據和用于訓練的RS圖像的字典。

5 結論

本文對遙感圖像的超分辨率重建技術進行了全面綜述。具體介紹了四種SR重建類別：基于學習的SR、基于插值的SR、基于頻域的SR和基于概率理論的SR。我們還基于幾種最新的方法進行了實驗，提出了遙感圖像的SR重建結果。由于SR重建技術可以克服成像系統固有的分辨率限制，可以有效提高航空圖像或衛星圖像的分辨率。因此，SR重建技術在遙感領域已被證明具有實用性和重要價值，在識別定位、圖像融合、環境監測、災害研究和全球變化分析等方面得到了廣泛應用。

參考文獻

[1] J. L. Harris, “Diffraction and Resolving Power,” Journal of the Optical Society of America (1917-1983), vol. 54, p. 931, Jul. 1964.
[2] J. W. Goodman et al., Introduction to Fourier optics. McGraw-hill New York, 1968, vol. 2.
[3] R. Tsai and T. S. Huang, “Multiframe image restoration and registration,” Advances in computer vision and Image Processing, vol. 1, no. 2, pp. 317–339, 1984.
[4] H. Zhang, Z. Yang, L. Zhang, and H. Shen, “Super-resolution reconstruction for multi-angle remote sensing images considering resolution differences,” Remote Sensing, vol. 6, no. 1, pp. 637–657, 2014.
[5] C. Papathanassiou and M. Petrou, “Super resolution: an overview,” DTIC Document, Tech. Rep., 2005.
[6] J. Yang and T. Huang, “Image super-resolution: Historical overview and future challenges,” Super-resolution imaging, pp. 20–34, 2010.
[7] P. Oskoui-Fard and H. Stark, “Tomographic image reconstruction using the theory of convex projections,” IEEE Transactions on Medical Imaging, vol. 7, no. 1, pp. 45–58, 1988.
[8] J. Yang, J. Wright, T. S. Huang, and Y. Ma, “Image super-resolution via sparse representation,” IEEE Transactions on Image Processing, vol. 19, no. 11, pp. 2861–2873, 2010.
[9] Y. Zhang, W. Wu, Y. Dai, X. Yang, B. Yan, and W. Lu, “Remote sensing images super-resolution based on sparse dictionaries and residual dictionaries,” in International Conference on Dependable, Autonomic and Secure Computing (DASC). IEEE, 2013, pp. 318–323.
[10] H. Zhang and B. Huang, “Scale conversion of multi sensor remote sensing image using single frame super resolution technology,” in International Conference on Geoinformatics. IEEE, 2011, pp. 1–5.
[11] M. L. Aguena and N. D. Mascarenhas, “Multispectral image data fusion using pocs and super-resolution,” Computer Vision and Image Understanding, vol. 102, no. 2, pp. 178–187, 2006.
[12] S. C. Park, M. K. Park, and M. G. Kang, “Super-resolution image reconstruction: a technical overview,” IEEE Signal Processing Magazine, vol. 20, no. 3, pp. 21–36, 2003.
[13] F. Li, D. Fraser, and X. Jia, “Improved ibp for super-resolving remote sensing images,” Geographic Information Sciences, vol. 12, no. 2, pp. 106–111, 2006.
[14] X. Chen, “The research on the althorithms of super-resolution remote sensing image reconstruction in spectral domain (in chinese),” Master’s thesis, China University of Geosciences (Beijing), 2008.
[15] N. Nguyen and P. Milanfar, “An efficient wavelet-based algorithm for image superresolution,” in International Conference on Image Processing, vol. 2. IEEE, 2000, pp. 351–354.
[16] ——, “A wavelet-based interpolation-restoration method for superresolution (wavelet superresolution),” Circuits, Systems and Signal Processing, vol. 19, no. 4, pp. 321–338, 2000.
[17] H. Tao, X. Tang, J. Liu, and J. Tian, “Superresolution remote sensing image processing algorithm based on wavelet transform and interpolation,” in Third International Asia-Pacific Environmental Remote Sensing Remote Sensing of the Atmosphere, Ocean, Environment, and Space. International Society for Optics and Photonics, 2003, pp. 259–263.
[18] R. Neelamani, H. Choi, and R. Baraniuk, “Forward: Fourier-wavelet regularized deconvolution for ill-conditioned systems,” IEEE Transactions on Signal Processing, vol. 52, no. 2, pp. 418–433, 2004.
[19] S. A. Devi and A. Vasuki, “Image super resolution using fourier-wavelet transform,” in International Conference on Machine Vision and Image Processing (MVIP). IEEE, 2012, pp. 109–112.
[20] B. C. Tom and A. K. Katsaggelos, “Reconstruction of a high-resolution image by simultaneous registration, restoration, and interpolation of lowresolution images,” in Proceedings of the IEEE International Conference on Image Processing, vol. 2. IEEE, 1995, pp. 539–542.
[21] S. Wang, L. Zhuo, and X. Li, “Spectral imagery super resolution by using of a high resolution panchromatic image,” in IEEE International Conference on Computer Science and Information Technology (ICCSIT), vol. 4. IEEE, 2010, pp. 220–224.
[22] Q. Yuan, L. Yan, J. Li, and L. Zhang, “Remote sensing image superresolution via regional spatially adaptive total variation model,” in IEEE International Geoscience and Remote Sensing Symposium (IGARSS). IEEE, 2014, pp. 3073–3076.
[23] A. N. Tikhonov, “Regularization of incorrectly posed problems,” in Soviet Math. Dokl, vol. 4, no. 6, 1963, pp. 1624–1627.

總結

以上是生活随笔為你收集整理的【图像超分辨率】Remote Sensing Image Super-resolution: Challenges and Approaches的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。