Abstract

使用對稱視網膜對光響應模型的全局色調映射算子往往會產生低動態范圍 (LDR) 圖像，該圖像在明亮或黑暗區域中顯示出其對應的高動態范圍 (HDR) 圖像的細節丟失。在本文中，我們基于包含對稱 S 形曲線的視網膜適應模型引入了一種新的非對稱 S 形曲線（ASC），并利用 ASC 提出了兩個全局色調映射算子。在所提出的方法中，通過使用眾所周知的經典攝影技術，稱為區域系統，獲得基于 ASC 的色調映射函數。此外，通過使用輸入 HDR 圖像的亮度直方圖和基于 ASC 的映射函數制定雙準則優化問題，引入了對比度增強色調映射函數。實驗結果表明，所提出的方法增強了全局對比度，同時保留了色調映射 LDR 圖像中的圖像細節。此外，使用圖像質量度量的客觀評估結果表明，所提出的方法對最先進的全局色調映射算子顯示出高性能。

1. Introduction

隨著高動態范圍 (HDR) 技術的快速發展，HDR 圖像可以提供遠多于 24 位 RGB 圖像的亮度和顏色信息 [1]。然而，由于大多數顯示設備仍然具有低動態范圍 (LDR)，因此已經提出了各種類型的色調映射算子來在 LDR 設備上表示 HDR 圖像。這些方法可以大致分為兩部分：全局[2]-[10]和局部[11]-[19]算子。

全局色調映射算子對每個像素應用空間不變的壓縮函數來壓縮 HDR 圖像的動態范圍。例如，一些量化函數（如伽馬函數或對數函數）用于簡單地壓縮 HDR 圖像的動態范圍 [4]、[10]。另一方面，局部色調映射算子通過考慮相鄰像素的局部信息，在每個像素處利用不同的壓縮比來保留輸出圖像中的細節。例如，杜蘭德等人[17] 使用局部邊緣保留濾波器將輸入的 HDR 圖像分解為 HDR 基礎層和 LDR 細節層。然后，只有 HDR 基礎層被壓縮并與 LDR 細節層重新組合。同樣，Fattal 等人?[18] 通過使用僅壓縮 HDR 圖像的大梯度的梯度衰減函數，有效地保留了色調映射 LDR 圖像的精細細節。

這兩個算子的客觀[20]和主觀[21]比較表明，全局色調映射算子可以更好地再現全局對比度，但會導致細節信息的丟失。同時，局部色調映射算子具有更好的細節可見性，但與全局算子相比，在降低計算復雜度方面效率較低。此外，局部操作員往往會產生不自然的外觀，例如振鈴和光暈偽影。

由于人類視覺系統 (HVS) 成功地處理了大范圍亮度強度的動態范圍問題，許多色調映射操作員采用了各種模擬 HVS 的假設模型。例如，retinex 理論 [22]，它通過使用 HVS 再現對顏色刺激的感官反應，已在許多局部色調映射算子中實施。喬布森等人[11] 引入了多尺度中心/環繞視網膜來產生類似于人類視覺感知的 LDR 圖像。 Meylan 和 Süsstrunk [12] 擴展了這種多尺度 retinex，以提供良好的色彩再現并防止色調映射過程中的光暈偽影。此外，Mantiuk 等人[19] 引入了一個感知框架，將 HVS 的特性納入梯度衰減過程。他們通過采用金字塔對比度表示來重建色調映射圖像的低頻。然而，這些基于 HVS 的局部色調映射方法通常會受到光暈偽影的影響，并且需要很高的計算復雜度。

由于 Naka-Rushton 方程 [23] 代表了視網膜感光器根據亮度水平的響應，因此被 Pattanaik 等人采用。 [2] 為了重現人眼的時間依賴性視覺適應，已經提出了多種具有 Naka-Rushton 方程的全局色調映射算子。例如，萊達等人[3] 分別將 Naka-Rushton 方程應用于視桿和視錐細胞，以模擬視網膜的局部視覺適應。萊因哈德等人[6] 通過使用一個關鍵值擴展了 Naka-Rushton 方程，該關鍵值指示輸入的 HDR 圖像主觀上是亮的、正常的還是暗的。此外，Reinhard 和 Devlin [7] 將色調映射過程與攝影進行了識別，并從類似于攝影師的可變相機設置的可控參數中獲得了 Naka-Rushton 方程的色度和亮度適應。最近，費拉丹斯等人[9] 指出了錐飽和的重要性，并結合了 Naka-Rushton 方程和 Weber-Fechner 定律。然而，由于 Naka-Rushton 方程的曲線有一個缺點，即它在半對數坐標上具有對稱的 S 形，因此使用 Naka-Rushton 方程的色調映射 LDR 圖像往往會丟失其對應 HDR 的細節明亮或黑暗區域中的圖像。

在本文中，我們首先在傳統的視網膜適應模型的基礎上引入了一種新的非對稱 sigmoid 曲線（ASC）。受 HVS 特性的啟發，其中視網膜響應曲線實際上具有不對稱形狀 [24]、[25] 并且其對稱特性僅在低到中等亮度水平 [26] 中保持，所提出的 ASC 還包括一個不對稱參數，該參數確定曲線的曲率。然后，我們提出了一個全局色調映射算子，它通過使用攝影技術確定 ASC 的不對稱參數，稱為區域系統 [27]。此外，通過將雙準則優化問題公式化為兩個目標的加權和，提出了對比度增強色調映射函數：一個用于保留基于 ASC 的色調映射函數，另一個用于調整映射函數的斜率就亮度直方圖而言。

本文的其余部分安排如下。在第 2 節中，我們介紹了基于傳統視網膜反應模型的不對稱 sigmoid 曲線。第 3 節詳細描述了基于 ASC 的全局色調映射方法。第 4 節介紹了實驗結果。最后，第 5 節總結了本文。

2. Proposed asymmetric retinal response model

Michaelis-Menten 方程 [28] 是視網膜適應的常規響應模型，描述了視網膜神經元的典型響應 R 和亮度強度 I 之間的非線性關系，如下所示：

?

?其中 σ 是表示適應水平的半飽和常數，n 是決定函數陡度的靈敏度參數。參數 Rma??x 是最大響應，其值通常為 1.0 用于歸一化。給定感光器的適應水平 σ 可以被認為是該感光器最近暴露于的光強度的函數，并計算為在靜止照明條件下到達整個視場的平均光[7]。請注意，當 I=σ 時，視網膜神經元的響應變為最大值的一半。如圖 1(a) 所示，該響應模型在半對數坐標上具有關于其中點 (σ, 0.5) 的對稱 S 形。此外，類似于HVS的機制，其中感光器調整對背景照明條件的適應，隨著適應水平的增加，Michaelis-Menten方程的曲線沿水平軸從左到右移動。圖 1(b) 顯示它顯著壓縮了場景中的明暗區域，而中間范圍隨著靈敏度參數的增加保持不變。

盡管 Naka-Rushton 方程是 Michaelis-Menten 方程的特例 (n=1)，已在色調映射文獻中廣泛使用，但該視網膜反應模型的曲線在半對數坐標上具有對稱 S 形[29]。為了克服這一限制，我們提出了一種新的 ASC，它包含不對稱和對稱形狀的曲線。

最近，為了從劑量反應數據中找到最佳擬合曲線，Gottschalk 和 Dunn [30] 采用了一種稱為 5PL 函數的不對稱 sigmoid 曲線，定義為

?其中x表示輸入數據，a、b、c、d和n是用于確定函數曲線形狀的五個參數。由于視網膜反應在沒有光的情況下變為零，即 R(0)=0，我們從 (2) 獲得 a=0。因此，（2）可以重寫為

?當 b=1 時，ASC 在半對數坐標上具有關于其中點 (σ, 0.5) 的對稱 S 形；否則，它變得不對稱。隨著參數 σ 的增加，ASC 從左向右移動，如圖 1（c）所示。比較圖1（b）和（d），隨著參數n的增加，ASC在點（σ，1-0.5b）附近具有陡峭的斜率，類似于Michaelis-Menten方程的曲線。

如上一節所述，我們設計了 ASC 來獲得全局色調映射函數。因此，困難在于確定如何根據 HDR 場景適當地選擇不對稱參數 b。下一節將解釋圖像自適應參數估計方法。

3. Proposed tone mapping operators

3.1. ASC-based tone mapping operator

控制照片最終外觀的區域系統技術 [27] 用于確定輸入 HDR 圖像的 (5) 中的不對稱參數 b。區域系統將一個場景在色調尺度上劃分為 11 個區域，每個區域從純黑色到純白色都進行了適當的匹配。在這些區域中，V 區代表 18% 的中灰，通常用作標準灰卡。

在 [6] 中，區域系統與 Naka-Rushton 方程的修改版本一起使用，用于將 HDR 場景轉換為 LDR 圖像，如下所示：

?其中 f (?) 是映射函數； α表示鍵值； L 和 Lavg 分別是輸入 HDR 圖像的亮度和對數平均亮度； Lwhite 表示映射到純白色的最小亮度值，例如，對于 8 位 LDR 圖像，為 255。 HDR 圖像的亮度 L 是通過對輸入 HDR 圖像的三個顏色通道的值進行加權平均獲得的，如下所示：

?在(9)中，由于k的范圍是[-1,1]，所以參數α在[0.045,0.72]的范圍內。這里，重要的問題是，在經典區域系統中，區域 III 和區域 VII 的適當反射率分別約為 4.5% 和 72%。因此，我們可以得出結論，如果 Lwhite=1，Reinhard 全局色調映射曲線總是經過一個點 (Lavg, α)，而關鍵值 α 表示以 k 表示的 Zone III 和 Zone VII 之間的反射率值。如圖 1(d) 所示，提出的 ASC 總是通過點 (σ, )。此外，如上一節所述，適應水平 σ 通常計算為對數平均亮度。因此，我們設置 σ = Lavg 并將從區域系統獲得的點 (Lavg, α) 與 ASC 上的點 (σ, ) 相等。換言之，非對稱參數b由以下等式確定：。最后，基于 ASC 提出的色調映射函數 由下式獲得

?

?在最近的一項工作 [9] 中，亮度值的算術平均值和中位數之間的幾何平均值比對數平均亮度更能代表背景亮度。因此，我們計算背景強度：（10）和（11）中的 。

3.2. Contrast-enhancing tone mapping operator

在本節中，我們提出了一種通過使用（10）中基于 ASC 的色調映射函數和輸入 HDR 圖像的亮度直方圖來生成對比度增強色調映射函數的方法。沃德等人[8] 首先采用亮度直方圖的累積分布作為全局色調映射函數。生成的色調映射 LDR 圖像顯示出類似于直方圖均衡 LDR 圖像的增強對比度。然而，基于直方圖的全局色調映射算子往往會丟失 HDR 圖像在明亮或黑暗區域的細節 [32]。盡管局部色調映射算子可以增強局部對比度和細節的可見性，但它需要很高的計算復雜度，如第 1 節所述

為了解決這個問題，我們提出了一個具有兩個目標的優化問題：保持上一節中描述的基于 ASC 的色調映射函數的形狀，并根據HDR 圖像累積分布函數 (CDF) 調整目標映射函數的斜率。這個雙準則優化問題可以表述為

?

?

?在 (12) 中，CDF 的斜率 Dcx 等于輸入 HDR 圖像的概率分布函數。此外，我們最小化目標映射曲線的斜率與 Dcx 之間的差異，而不是絕對差異。這種策略對于只改變目標映射曲線的斜率而不改變 ASC 的形狀很有用。我們將在本節末尾展示所提出的優化策略的有效性。

hx為列向量，hx第i個元素為i到i+1區間像素個數，i是以log域等分劃分，然后歸一化?。

?

?

?在所提出的方法中，基于 ASC 的映射函數通過解決優化問題而不是簡單的插值方法與 CDF 相結合。圖 2 顯示了使用優化策略和插值方法的色調映射函數。基于插值的色調映射函數由下式獲得

?

4. Experimental results

4.1. Implementation

在本節中，實施了大量實驗來驗證所提出的色調映射函數 和?的性能。

在評估所提出的方法之前，將顏色校正的線性公式 [34] 應用于每個顏色通道以進行色調映射中的顏色處理，如下所示：

?其中 C 表示顏色通道之一（紅色、綠色和藍色），Lout 是建議的色調映射算子的輸出亮度，s 是顏色飽和度的控制參數。

在實驗中，從兩個 HDR 圖像數據集，即 MPI 和 sIBL 中選擇了 40 個測試圖像。請注意，MPI 數據集已廣泛用于 HDR 色調映射，而 sIBL 數據集包含最新的 HDR 圖像，主要覆蓋超高分辨率的戶外場景，如圖 3 所示。

4.2. Subjective evaluation

圖 4 顯示了所提出的基于 ASC 的色調映射方法在 (10) 中具有不同 b 值的結果。對于色調映射，參數設置為 n=1。如圖4（a）所示，所提出的色調映射函數（b = 1）的對稱版本傾向于保留暗區的精細細節并去除亮區的紋理。隨著 b 減小，色調映射結果變得更暗，如圖 4（b）和（c）所示。因此，非對稱參數 b 對色調映射 LDR 圖像的圖像質量具有顯著影響。在圖 4(d) 中，使用 (10) 計算的參數 b 在結果圖像的明亮區域和暗區域的細節保留之間提供了良好的折衷。

與具有 256 個量化級別的 LDR 圖像的直方圖不同，HDR 圖像的亮度值是連續的，并且 HDR 圖像的直方圖 bin 的數量 N 會影響我們的對比度增強色調映射結果的質量。圖 5 顯示了所提出的基于 ASC 的色調映射方法對（14）中不同 N 值的結果。由于較小的 N 在直方圖生成過程中壓縮了更多的 HDR 信息，圖 5（a）和（b）表明，使用較小的 N 獲得的結果在明暗區域表現出更多的細節損失。否則，使用較大 N 的色調映射算子會生成視覺上合理的圖像細節，同時需要高計算復雜度。由于 N = 1000 的色調映射結果與 N = 3000 的結果之間沒有顯著差異，如圖 5（c）和（d）所示，我們將所有實驗設置為 N = 1000。

圖 6 顯示了使用所提出的具有不同 λ 的對比度增強色調映射方法的色調映射 LDR 圖像。如第 III-B 節所述，參數 λ 控制色調映射過程中亮度直方圖的影響。隨著λ的增加，大概率區域附近的色調映射曲線的斜率變得更陡峭，色調映射圖像的全局對比度也顯著增強。在實驗中，參數 λ 和 γ 分別根據經驗確定為 400 和 50。

為了與所提出的方法進行性能比較，使用了其他最先進的全局色調映射方法，例如 Drago 方法 [4]、Mantiuk 方法 [5]、兩種 Reinhard 方法 [6][7]、Ward 方法 [8 ] 和 Ferradans 的方法 [9]。圖 7 顯示了我們的兩種色調映射方法和 sIBL 數據集的傳統全局色調映射方法的結果。在實驗中，基于 Naka-Rushton 方程的色調映射結果如圖 7（d）和（e）所示。雖然結果在暗區有足夠的細節，但它們也出現了低對比度。在傳統方法中，Mantiuk 的方法 [5] 在保持全局對比度方面表現最好。然而，可以觀察到明亮和昏暗區域中圖像細節的可見度較差，如圖7（c）所示。相比之下，輸入 HDR 圖像的重要細節和紋理在所提出的基于 ASC 的色調映射方法的結果中得到了很好的呈現，如圖 7(g) 所示。在圖 7（h）中，所提出的對比度增強色調映射方法不僅保留了圖像細節，而且增強了色調映射 LDR 圖像的全局對比度。這種趨勢也清楚地顯示在圖 8 中，它使用了 MPI 數據集。

4.3. Objective evaluation

為了客觀評估色調映射結果，采用了兩種定量質量評估方法。第一種評估方法[35]使用兩個輸入圖像，一個用于輸入 HDR 圖像作為參考圖像，另一個用于色調映射 LDR 圖像作為測試圖像。評估結果包括一個失真圖，它代表了每個像素的對比度失真誤差。失真圖的灰色、綠色、紅色和藍色分別表示沒有失真、可見對比度損失、對比度反轉和對比度放大。此外，每種顏色密度都意味著誤差的大小。在圖 9 中，我們展示了使用兩種建議的色調映射算子和傳統方法生成的色調映射 LDR 圖像和失真圖。如圖 9(g) 和 (h) 所示，所提出的兩種色調映射方法都比其他方法產生更少的失真。

為了分析數值誤差，我們從包含 20 個 sIBL 圖像和 20 個 MPI 圖像的 40 個色調映射 LDR 圖像中提取每個像素的誤差值，并計算平均值，如表 1 所示。性能最好的方法是粗體，第二個是斜體。除了關于對比度損失的類別外，兩種提出的方??法都優于其他色調映射方法。在表 I 中，與其他傳統方法相比，Ward 方法相對導致較低的損耗和較高的反轉以及對比度的放大。此外，與基于 ASC 的色調映射算子相比，增強對比度的色調映射算子在放大和反轉類別中產生了更多的錯誤。由于這兩種方法的色調映射結果通常在圖 1-2 中表現出增強的對比度。從圖 7 和圖 8 可以看出，帶有亮度直方圖的色調映射算子在增強全局對比度的同時，會導致對比度反轉和放大的誤差。

在第二個實驗中，采用了由局部結構保真度測量和統計自然度測量組成的色調映射圖像質量指數（TMQI）[20]。該指標給出了 [0, 1] 之間的整體性能得分，其中得分越高表示性能越好。為了公平比較，我們在第一個實驗中使用了相同的 HDR 數據集，并計算了三個平均質量分數（結構保真度、統計自然度和整體質量）及其標準偏差。結果列于表II。盡管 Mantiuk 的方法 [5] 在結構保真度方面比提出的對比度增強色調映射方法略好，但在統計自然度和整體性能方面，提出的方法優于 Mantiuk 的方法。此外，表 II 中的標準差表明，所提出的對比度增強方法的每個質量得分往往接近平均質量得分。

使用所提出的對比度增強方法的色調映射結果獲得了各種 HDR 圖像的高分。請注意，這種趨勢在圖 1 和圖 2 中清晰可見。如圖 7 和 8 所示，與其他色調映射方法相比，所提出的對比度增強方法的色調映射 LDR 圖像不僅保留了局部細節，而且顯示出更好的視覺質量。

5. Conclusion

在本文中，我們介紹了一種新的基于人類視覺系統的不對稱 S 型曲線 (ASC)，其中視網膜響應曲線具有不對稱的形狀。然后，我們提出了兩個使用 ASC 的全局色調映射算子。第一個采用區域系統根據 HDR 圖像確定映射曲線的曲率。第二個是通過使用 HDR 圖像的亮度直方圖制定雙準則優化問題來增強色調映射 LDR 圖像的全局對比度。由于可以以封閉形式計算該問題的最優解，因此它需要較低的計算復雜度。所提出的色調映射算子使用兩種定量質量評估方法進行了評估，并顯示出與先前方法相比的高性能。

Acknowledgements

這項工作得到了韓國政府 (MSIT) (2017-0-00250, Intelligent Defense Boundary Surveillance Technology Using Collaborative Reinforced Learning of Embedded Edge Camera and Image Analysis) 資助的信息和通信技術促進研究所 (IITP) 贈款的支持

總結

以上是生活随笔為你收集整理的High Dynamic Range Image Tone MappingBased on Asymmetric Model of RetinalAdaptation的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。