參考 ? Deep Retinex Decomposition for Low-Light Enhancement - 云+社區 - 騰訊云

目錄

摘要

1、簡介

2、弱光增強的視黃素網

2.1、數據驅動的圖像分解

2.2、支持結構平滑損失

2.3、多尺度照明調整

2.4、反射上的去噪

3、數據集

3.1、真實場景中捕獲的數據集

3.2、從Raw圖中合成圖像

4、實驗

4.1、實驗設置

4.2、分解結果

4.3、評估

4.4、聯合微光增強和去噪

5、結論

---

摘要

Retinex模型是微光圖像增強的有效工具。假設觀測圖像可以分解為反射率和光照。大多數現有的基于Retinex的方法都為這種高度病態分解精心設計了手工制作的約束條件和參數，當應用于各種場景時，可能會受到模型容量的限制。在本文中，我們收集了一個包含低/正常光圖像對的低光數據集(LOL)，并提出了在該數據集上學習的深度Retinex-Net，包括用于分解的解分解網和用于光照調整的增強網。在解壓網絡的訓練過程中，分解的反射率和光照沒有ground truth。該網絡僅在關鍵約束條件下學習，包括成對低/正常光圖像共享的一致反射率和光照的平滑度。在分解的基礎上，通過增強網絡對光照進行亮度增強，聯合去噪時對反射率進行去噪操作。Retinex-Net是端到端可訓練的，因此學習的分解本質上有利于亮度調整。大量實驗表明，該方法不僅在弱光增強方面具有良好的視覺效果，而且能很好地表征圖像的分解。

1、簡介

在圖像捕獲中，光照不足會顯著降低圖像的可見性。細節的丟失和低對比度不僅會造成不愉快的主觀感受，而且會損害許多為正常光線圖像設計的計算機視覺系統的性能。造成照明不足的原因有很多，如環境光線不足，攝影設備性能有限，設備配置不當等。為了使隱藏的細節顯現出來，提高當前計算機視覺系統的主觀體驗和可用性，需要進行弱光圖像增強。

在過去的幾十年里，許多研究者致力于解決微光圖像增強的問題。許多技術已經發展，以提高主觀和客觀質量的微光圖像。直方圖均衡化(HE)及其變異體約束輸出圖像的直方圖滿足一定的約束條件。基于去霧的方法利用了光照不足的圖像和模糊環境下的圖像之間的逆連接。

另一類微光增強方法是建立在Reinex理論基礎上，假設觀察到的彩色圖像可以分解為反射率和光照。像早期的嘗試一樣，單尺度的Retinex (SSR)通過高斯濾波約束光照貼圖平滑。多尺度的Retinex (MSRCR)擴展了SSR的多尺度高斯濾波器和顏色恢復。[23]提出了一種利用光階誤差測量保持照度自然度的方法。Fu等人提出融合初始光照圖的多個派生。SRIE使用加權變分模型同時估計反射率和光照。操縱照明后，可以恢復目標結果。另一方面，LIME只在結構先驗下估計光照，并使用反射作為最終的增強結果。也有基于Retinex的聯合微光增強和噪聲去除方法。

雖然這些方法在某些情況下可能產生有希望的結果，但它們仍然受到反射和光照分解模型容量的限制。很難設計出適用于各種場景的有效的圖像分解約束條件。此外，照明貼圖的操作也是手工制作的，這些方法的性能通常依賴于仔細的參數調整。

隨著深度神經網絡的快速發展，CNN被廣泛應用于低層圖像處理中，包括超分辨率，去雨等。Lore等人的使用堆疊稀疏去噪自動編碼器來同時進行微光增強和降噪(LLNet)，但是沒有考慮到微光圖像的性質。

為了克服這些困難，我們提出了一種數據驅動的Retinex分解方法。建立了一個融合圖像分解和連續增強操作的深度網絡。首先，利用子網絡—解壓網絡將觀測圖像分割為不依賴光線的反射率和結構感知的平滑光照。解壓網絡是在兩個約束條件下學習的。首先，低/正常光圖像具有相同的反射率。其次，光照圖要平滑，但保留主要結構，這是通過感知結構的總變化損失得到的。然后，另一個增強網絡調整光照圖以保持大區域的一致性，同時通過多尺度連接來裁剪局部分布。由于噪聲在黑暗區域往往更大，甚至在增強過程中被放大，因此引入了反射率去噪。為了訓練這樣一個網絡，我們從真實的照片和從原始數據集合成的圖像中建立一個低/法線光圖像對的數據集。大量實驗表明，該方法不僅在弱光增強中獲得了良好的視覺效果，而且能很好地表征圖像的分解。現將我們的工作貢獻總結如下：

• 我們用在真實場景中捕獲的成對的低/正常光圖像來構建一個大型數據集。據我們所知，這是在弱光增強領域的首次嘗試。
• 我們構造了一種基于Retinex模型的深度學習圖像分解算法。分解網絡與連續的弱光增強網絡進行端到端訓練，因此該框架具有良好的光狀態調節能力。
• 我們提出了一種結構感知的全變差約束用于深度圖像分解。在梯度很強的地方，通過減輕總變化的影響，約束成功地平滑了照明貼圖并保留了主要結構。

2、弱光增強的Retinex

經典的Retinex理論模擬了人類的顏色感知。假設觀測圖像可以分解為反射率和光照兩個分量。表示源圖像，則表示為：

???????????????????????????????? ? ? ? ? ? ???

式中為反射率，為光照，為element-wise乘法。反射率描述捕獲物體的內在屬性，它被認為在任何亮度條件下都是一致的。光照表示物體上的不同亮度。在弱光圖像上，它通常遭受黑暗和不平衡的照明分布。

在Retinex理論的基礎上，設計了一種深度Retinex，共同進行反射率照度分解和微光增強。網絡由分解、調整和重構三個步驟組成。在分解步驟中，Retinex-Net將輸入圖像通過分解網分解為和。在訓練階段，它接受對低/正常光圖像，而在測試階段，它只接受低光圖像作為輸入。在低/正常光圖像共享相同反射率和光照平滑的約束下，Decom-Net學會了以數據驅動的方式提取不同光照圖像之間一致的R。在調整步驟，一個增強網被用來照亮照明貼圖。增強網采用編解碼器的整體框架。采用多尺度拼接的方法，在調整集中關注的局部分布的同時，保持光照與大區域上下文信息的全局一致性。此外，放大噪聲，往往發生在低光條件下，消除了反射率，如果需要。然后，在重建階段，我們將調整光照和反射率通過元素的乘法結合起來。

2.1、數據驅動的圖像分解

分解觀測圖像的一種方法是直接在低光輸入圖像上估計反射率和照度，并精心制作了約束條件。由于Eq.(1)的病態性很強，很難設計出適合各種場景的約束函數。因此，我們試圖以數據驅動的方式來解決這個問題。

在訓練階段，Decom-Net每次都對低/正態光圖像進行配對，在低光圖像和正態光圖像具有相同反射率的指導下，學習對低光和對應的正態光圖像的分解。注意，雖然分解是用配對數據訓練的，但它可以在測試階段單獨分解低光輸入。在訓練過程中，不需要提供反射率和光照的ground truth。只有反射一致性和光照映射光滑性等必要知識作為損失函數嵌入到網絡中。因此，我們的網絡分解是從成對的低/正常光圖像中自動學習到的，本質上適合描述不同光照條件下圖像之間的光變化。

需要注意的一點是，盡管這個問題在形式上可能類似于固有圖像分解，但它們在本質上是不同的。在我們的任務中，我們不需要精確地獲取實際的本征圖像，而是需要一個良好的表征來進行光調節。因此，我們讓網絡學會在弱光圖像和相應增強結果之間尋找一致分量。

如圖1所示，Decom-Net以慢的弱光圖像和正常光的一個圖像為輸入，然后分別估計慢的反射率和照度，以及正態光的和非normal圖像。首先使用3×3卷積層從輸入圖像中提取特征。然后，采用幾個以直線矯正單元(ReLU)為激活函數的3×3卷積層，對RGB圖像進行反射率和光照映射。一個3×3卷積層從特征空間投影和，用sigmoid函數約束R和I在[0,1]的范圍內。

損失L由重構損失、不變反射率損失和光照平滑損失組成:

?????????????????????? ? ? ? ? ? ? ? ?

? ? ? ?? ? ? ? ? ????????

其中和表示用于平衡反射率一致性和光照平滑度的系數。假設和都可以用對應的光照圖重構圖像，則重構損失公式為:

????????????? ?? ?????

引入不變反射率損失來約束反射率的一致性:

????????????????????

照明平滑度損失將在下一節中詳細描述。

2.2、支持結構平滑損失

光照映射的一個基本假設是局部一致性和結構感知，如[9]所述。換句話說，一個好的照明貼圖的解決方案應該是在紋理細節平滑的同時仍然可以保持整體的結構邊界。

全變差最小化(TV)是將整個圖像的梯度最小化的算法，經常被用作各種圖像恢復任務的平滑先驗。然而，直接使用TV作為損失功能失敗的區域，圖像有強烈的結構或亮度變化劇烈。這是由于統一的減少梯度的照明圖無論該區域是文本細節或強邊界。換句話說，TV損失是結構盲性的。光照模糊，反射率上留下強黑邊，如圖2所示。

為了使損失能反映圖像的結構，對原始的TV函數采用反射貼圖梯度加權。最終公式如下：

????????????? ? ? ?? ???

其中，為包括(水平)和(垂直)的梯度，為平衡結構意識強度的系數。通過權值放松反射率梯度陡峭處的平滑約束，也就是圖像結構所處的位置和光照應該不連續的位置。

雖然LIME也考慮了在有加權TV約束的照明映射中保持圖像結構，但我們認為這兩種方法是不同的。對于LIME，使用初始光照圖對總變異約束進行加權，初始光照圖是R、G和B通道中每個像素的最大亮度。我們的結構感知平滑損失是由反射率加權的。在LIME中使用的靜態初始估計可能不能像反射率那樣描述圖像結構，因為反射率被假定為圖像的物理屬性。由于我們的解網是離線訓練的大規模數據，在訓練階段可以同時更新光照和權重(反射率)。

2.3、多尺度照明調整

照明增強網絡采用編碼器-解碼器結構的整體框架。為了從層次角度調整光照，我們引入了多尺度連接，如圖1所示。

編碼器-解碼器體系結構獲得大區域的上下文信息。將輸入圖像逐次降采樣到小尺度，使網絡能夠了解大尺度光照分布情況。這就給網絡帶來了自適應調節的能力。利用大范圍光照信息，上采樣塊重建局部光照分布。通過逐元素求和的方法，將跳越連接從一個下采樣塊引入到相應的鏡像上采樣塊，從而強制網絡學習剩余值。

為了分層調整光照，即在裁剪局部光照分布的同時保持全局光照的一致性，引入了多尺度拼接算法。如果有個逐步向上采樣的塊，每個塊提取一個通道特征圖，我們通過近鄰插值將這些特征在不同尺度上調整到最終尺度，并將它們連接到一個通道特征圖。然后通過卷積層，將連接的特征降為通道。一個卷積層是之后重建照明地圖。

下采樣塊由步幅為2的卷積層和ReLU組成。在上行采樣塊中，使用了大小-卷積層。正如在[19]中演示的，它可以避免工件的棋盤式模式。size-convolutional layer由一個最近鄰插值操作、一個帶stride 1的convolutional layer和一個ReLU組成。

增強網的損失函數由重建損失和光照平滑損失組成。意味著生產普通，

?????????? ? ? ? ??????

是式(5)一樣，期望通過的梯度映射加權。

2.4、反射上的去噪

在分解步驟中，對網絡進行了約束，其中之一是光照映射的結構感知平滑性。當估計的光照貼圖是平滑的，所有的細節都保留在反射率上，包括增強的噪聲。因此，我們可以先對反射率進行去噪，然后再用光照映射重建輸出圖像。由于暗區噪聲在分解過程中會被亮度強度放大，因此應采用與光照相關的去噪方法。我們的實現在第4節中進行了描述。

???????????? ? ??????????

3、數據集

盡管弱光增強問題已經研究了幾十年，就我們所知，目前公開的數據集沒有提供在真實場景中捕獲的低/正常光成對的圖像。一些微光增強工作使用高動態范圍(HDR)數據集作為替代，如MEF數據集。然而，這些數據集是在小尺度和包含有限的場景。因此，它們不能用來訓練深度網絡。為了便于從大規模數據集學習弱光增強網絡，我們構建了一個新的網絡，它包括兩類:真實的攝影對和從原始圖像合成對。第一個捕獲了真實情況下的退化特性和屬性。第二種是數據增強，場景和目標多樣化。

3.1、真實場景中捕獲的數據集

我們的數據集，命名為低光配對數據集(LOL)，包含500對低/正常光圖像。據我們所知，LOL是第一個包含來自真實場景的用于弱光增強的圖像對的數據集。

大多數弱光圖像是通過改變曝光時間和ISO來收集的，而相機的其他配置是固定的。我們從各種各樣的場景中捕捉圖像，例如，房子，校園，俱樂部，街道。圖3顯示了場景的一個子集。

由于相機抖動、物體移動和亮度變化可能會導致圖像對之間的不對準，受[1]啟發，我們使用三步法來消除數據集中圖像對之間的不對準。實現細節可以在補充文件中找到。這些原始圖像被調整到400×600和轉換為便攜式網絡圖形格式。數據集將公開提供。

3.2、從Raw圖中合成圖像

為了使合成圖像更符合真實的暗攝影特性，我們分析了微光圖像的照度分布。收集公共MEF、NPE、LIME、DICM[、vv1、融合[3]數據集270張弱光圖像，將圖像轉換為YCbCr通道，計算Y通道的直方圖。從RAISE[4]中采集1000張raw圖像作為normal-light圖像，計算YCbCr中Y通道的直方圖。結果如圖4所示。

原始圖像比轉換后的結果包含更多的信息。在對原始圖像進行操作時，用于生成像素值的所有計算都在基礎數據上一次性執行，從而使結果更加準確。利用RAISE中的1000張原始圖像合成低光圖像。使用Adobe Lightroom提供的界面，我們嘗試不同的參數使Y通道的直方圖與弱光圖像的結果吻合。最后的參數配置可以在補充材料中找到。如圖4所示，合成圖像的光照分布與弱光圖像匹配。最后，我們將這些原始圖像調整為400×600，并將其轉換為可移植的網絡圖形格式。

4、實驗

4.1、實驗設置

我們在第3節中提到的擁有500對圖像的LOL數據集，被分成485對用于訓練，另外15對用于評估。因此，網絡在485幅真實圖像對和1000幅合成圖像對上進行訓練。整個網絡是輕量級的，因為我們經驗發現它已經足夠我們的目的。反卷積網絡需要5個卷積層，在沒有ReLU的2個對流層之間有ReLU激活。增強網絡由3個向下采樣區和3個向上采樣區組成。首先對分解網絡和增強網絡進行訓練，然后利用帶反向傳播的隨機梯度下降(SGD)端到端對網絡進行微調。批size設置為16，patch size設置為96×96。、和分別設置為0.001、0.1和10。當時，設置為0.001，當時，設置為1。

4.2、分解結果

在圖5中，我們展示了LOL數據集評估集中的低/法線光圖像對，以及由Decom-Net和LIME分解的反射率和光照圖。補充文件中提供了更多示例。結果表明，我們的解壓網絡能夠從文本區域和平滑區域兩組不同光照條件下的圖像中提取出基本一致的反射率。弱光圖像的反射率與正常光圖像的反射率相似，只是在真實場景中出現了黑暗區域的放大噪聲。另一方面，照明貼圖描繪了圖像上的亮度和陰影。與我們的結果相比，LIME在反射率上留下了很多光照信息(見架子上的陰影)。

??????????????????

??????????????????

?????????????????

4.3、評估

我們對來自公開的LIME、MEF和DICM數據集的真實場景圖像進行了評估。LIME包含10個測試圖像。MEF包含17幅多重曝光級別的圖像序列。DICM用商用數碼相機收集了69幅圖像。我們將我們的Retinex-Net與四種最先進的方法進行了比較，包括基于去霧的方法(DeHz)、自然度保留增強算法(NPE)、同時反射和光照估計算法(SRIE)和基于光照圖估計的方法(LIME)。

圖6顯示了三幅自然圖像的可視化對比。更多的結果可以在補充文件中找到。從每一個紅色矩形中可以看出，我們的方法在不過度曝光的情況下，充分地提高了隱藏在暗亮度下的物體的亮度，這得益于基于學習的圖像分解方法和多尺度定制光照貼圖。與LIME相比，我們的結果沒有部分過度暴露(看看靜物中的葉子和室外的葉子)。與DeHz相比，這些物體沒有暗邊，DeHz受益于加權電視損失條款(見街道上房屋的邊緣)。

4.4、聯合微光增強和去噪

考慮到其綜合性能，采用BM3D作為視神經網絡去噪操作。由于噪聲在反射率上被不均勻地放大，我們使用相對照明策略(見補充材料)。我們比較了我們的聯合去Retinex-Net與兩種方法，一種是石灰去噪后處理，另一種是JED，一種最近的聯合微光增強去噪方法。如圖7所示，使用Retinex-Net可以更好地保留細節，而LIME和JED則模糊了邊緣。

5、結論

本文提出了一種深度視頻流分解方法，該方法可以在不考慮反射率和光照分解的真實情況下，以數據驅動的方式學會將觀測圖像分解為反射率和光照。介紹了光照的后續光增強和反射率的去噪操作。對分解網絡和微光增強網絡進行端到端訓練。實驗結果表明，該方法具有良好的圖像分解效果和良好的增強效果。

總結

以上是生活随笔為你收集整理的Deep Retinex Decomposition for Low-Light Enhancement的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。