图像去雾概述
概念：
? ? ? ?隨著圖像處理技術和計算機視覺技術的蓬勃發展，對特殊天氣下的場景檢測和圖像處理成為該領域的重要研究方向。其中在霧天拍攝的圖像容易受霧或霾的影響，導致圖片細節模糊、對比度低以至于丟失圖像重要信息，為解決此類問題圖像去霧算法應運而生。圖像去霧算法是以滿足特定場景需求、突出圖片細節并增強圖片質量為目的的一種圖像分析與處理方法。在霧或霾等天氣情況下，室外空氣中存在大量的微小懸浮顆粒會對光產生折射和散射，經折射和散射后的光線與待觀察目標反射后的光線混合，造成戶外圖像采集設備捕獲的圖像清晰度和對比度大幅度下降，甚至會造成圖像色彩偏移，細節大量丟失的現象，從而無法獲取真實的圖像信息。因此，需要對此類圖像進行去霧，增強圖像信息，保證系統正常運行.
? ? ? 根據輸入源數量可將去霧算法分為單圖去霧和多圖去霧兩種。由于單幅圖像去霧問題中缺少諸多關鍵信息，因此早期研究者嘗試使用多幅圖像或補充額外信息的方法為霧圖成像的欠定方程增加約束。但是一般研究較多的是單圖去霧。
一、基于圖像增強的去霧算法
? ? ? 要此類算法的手段是利用傳統方法提高霧天圖像的對比度，突出圖像的部分細節，以此改善圖像的視覺效果，是一種較為簡單并技術成熟的算法，其基本原理是提高圖像對比度，同時盡可能降低圖像噪聲，從而恢復出無霧的清晰圖像。代表性方法有：直方圖均衡化（HLE）、（限制對比度）自適應直方圖均衡化、Retinex理論、小波變換、同態濾波（融合直方圖均衡化）等。
1、基于直方圖均衡化的去霧算法
? ? ??直方圖均衡化算法屬于最普遍的圖像增強方法，在霧霾天氣采集圖像的直方圖通常會集中于一個較為狹窄的范圍內，因此一般通過累積分布函數拉伸直方圖的動態范圍使其更加均衡，借此增強霧天圖像的對比度。但是這種拉伸直方圖的算法雖然可以增強圖像的對比度使其視覺上更加清晰，但因為具體細節的缺失也有明顯弊端，即圖像的視覺效果失真問題。
2、基于融合同態濾波的直方圖均衡化去霧算法
? ? ?在傳統直方圖均衡化的基礎上，應用同態濾波算法進行改良，以此來對霧天圖像進行更有效的去霧處理。為了解決圖像的光照不均問題，首先可以采用同態濾波算法，將復雜的非線性問題使用對數運算線性化，然后分離高頻和低頻分量，再將低頻信息使用高通濾波器進行有效抑制，接著再處理圖像的低頻分量，對其使用直方圖均衡化算法來達到非線性拉伸效果，擴大直方圖范圍，將圖像的像素值重新進行合理分配，最終獲得清晰的去霧圖片。
3、基于小波變換的去霧算法
? ? ?在基于小波變換的去霧算法中，首先需要使用散化處理對霧天原始的模糊圖像進行預處理，從而在后續的小波變換中，一定程度提升圖像時域和頻域分辨能力。并且可以采用動態采樣調整霧天圖像中的尺度及平移參數，使其更加合理。
4、基于Retinex理論的去霧算法
? ? ?根據大氣散射模型，一種Retinex理論被提出并應用在霧霾圖像清晰化處理當中。該算法首先將原始圖像轉換至hsv色彩空間，然后依據真實的亮度通道來對大氣散射模型進行調整，使用基于雙邊濾波的Retinex理論算法增強圖像的對比度且將圖像的飽和度指數調整到合適區間，最后將各個通道的處理成果合并得到清晰的去霧圖片。
二、基于大氣散射模型的圖像復原方法
? ? ??基于大氣退化模型進行圖像復原的去霧處理，代表性算法有：來自何凱明博士的暗通道去霧算法、基于導向濾波的暗通道去霧算法、貝葉斯去霧算法等，基于大氣退化模型的最終處理效果普遍好于傳統圖像增強去霧算法。
1、大氣散射模型?
? ? ? ? 大氣散射模型由大氣散射理論發展而來。該模型在1976年由McCartney正式提出，之后又由Narasimhan等人進行了進一步總結。該模型認為入射光衰減和散射介質影響是導致圖像質量下降的主要因素。?過對大量有霧圖像和無霧圖 像進行觀察總結，得到其中存在的一些映射關系， 然后根據有霧圖像的形成過程來進行逆運算，從而恢復清晰圖像。
?2、基于暗通道先驗的去霧算法
? ? ? ? 以何凱明的暗通道去霧算法為例，在絕大多數局部區域（天空等除外）里，部分像素必然有至少一個顏色通道具有極低的值，也就是說該區域光強是一個很小的值。第一個將暗通道先驗與大氣散射模型結合進行去霧的方法。通過對大量無霧圖像進行特征分析，找到了無霧圖像與大氣散射模型中某些 參數的先驗關系。該算法復雜度低，去霧效果好.
?三、深度學習在去霧處理上的應用
? ? ? 基于神經網絡的去霧方法分為兩階段去霧算法和單階段去霧算法兩種。前者依賴于大氣退化模型，利用神經網絡對模型中的參數進行估計，早期去霧方法大多是基于這種思路；后者則是利用神經網絡將輸入的有霧圖像直接恢復得到去霧圖像，也即深度學習中常說的端到端去霧。
1、DehazeNet去霧算法?
? ? ? DehazeNet是End-to-End去霧系統，將有霧圖像作為輸入，其以透射圖作為輸出，然后利用大氣散射模型進行圖像的還原。DehazeNet算法結合暗通道先驗去霧算法、最大對比度去霧算法、顏色衰減先驗算法和基于色度不一致的去霧算法四種傳統算法的特征進行網絡結構設計。模型分為四個部分分別為：特征提取、多尺度映射、局部極值和非線性回歸。?
2、GCANet算法?
? ? ? 由于生成對抗神經網絡（GAN）的出現，其采用無監督的學習方式進行訓練，能夠生成清晰真實的樣本，避免了損失函數設計的困難。GCANet是一個端到端的模型，重點在于利用平滑卷積代替了擴展卷積從而解決了網格偽影的問題。該網絡主要利用三個卷積模塊作為編碼部分，在編碼和解碼之間加入數個平滑卷積層，使得輸入特征層和輸出特征層保持局部相關性。GCANet直接使用以有霧圖像作為輸入，去霧圖像作為輸出直接得到清晰圖像，為去霧算法的發展產生重要影響。
?四、數據集介紹?
? ? ? 在去霧算法發展的過程中出現了一系列去霧算法數據集，從數據集的來源可以分為人工合成和真實霧天數據集。人工合成數據集通常利用各種場景的高清圖像以及它們的深度圖。然后基于圖像的深度信息和和霧天圖像的統計特征或者霧介質模型對高清圖像進行模糊處理，創建相應的帶霧場景圖像。常見的人工合成去霧數據集有NYU Depth、RESIDE、RESIDE-beta、Middelbury和D-HAZY數據集。且目前計算機視覺的權威機構并沒有公開真實霧天數據集。
五、評價標準
1、主觀評估
? ? ??主觀評估是依靠人的視覺系統給予圖像變化的主觀評價，往往帶有個人主觀色彩。
2、客觀評估
? ? ??客觀評估利用數學模型建立不同的評價指標對圖像的亮度、信息量和色彩飽和度等進行評估，有效避免了主觀評估的缺陷。
? ? （1）信息熵(Information entropy, IE)?
? ? ??圖像的信息熵通常用來描述圖像所包含信息的豐富程度，是評價一幅圖像質量好壞的重要指標。通常一幅圖像的信息熵越大，則其包含的信息就越豐富。
? ?（2）平均梯度(Average gradient, AG)?
? ? ??平均梯度用來描述一幅圖像的清晰程度，平均梯度越高，表明圖像表達細節的能力越強。
? ?（3）峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)
? ??給定大小為𝑀 × 𝑁的有霧圖像 I 和無霧圖像 K，均方誤差(MSE)定義為：?
? ? ?其中，𝐼(𝑖, 𝑗)、𝐾(𝑖, 𝑗)分別表示有霧圖像和無霧圖像上的像素點(𝑖, 𝑗)的灰度值。則峰值信噪比定義為：?
? ? ? 其中，𝑚𝑎𝑥𝐼為圖像的最大像素值。式(2.8)通常用于計算灰度圖像，對于三通道的彩色圖像，分別計算 RGB 三個通道的 MSE，并代入式(2.8)中得到 RGB三個通道的 PSNR，取平均值后得到彩色圖像的 PSNR。
? ? （4）結構相似性(Structural Similarity, SSIM)?
? ? ?結構相似性是一個用來衡量兩幅圖像在結構上相似性的指標。結構相似性基于兩幅圖像 I 與 K 間的結構(structure)、亮度(luminance)、和對比度(contrast)三個維度進行對比。?
? ? （5）?特征相似性(Feature Similarity, FSIM)
? ? ? 特征相似性選取相位一致性(Phase?Congruency, PC)作為第一特征，梯度特征(Gradient Magnanimity, GM)作為第二特征，相位與梯度這兩個特征相結合，可以有效地提取出圖像中的目標像素。特征相似性在一定程度上能夠反映出圖像的逼真程度。
?參考鏈接：https://kns.cnki.net/kcms/detail/11.2127.TP.20211101.0910.002.html?https://kns.cnki.net/kcms/detail/11.2127.TP.20211101.0910.002.html%C2%A0
總結
- 上一篇： C++的迭代器Interator
- 下一篇： Python 快速入门