當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

图像传感器与信号处理——自动曝光算法

發布時間：2025/3/20 编程问答 47 豆豆

生活随笔收集整理的這篇文章主要介紹了图像传感器与信号处理——自动曝光算法小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

圖像傳感器與信號處理——自動曝光算法

圖像傳感器與信號處理——自動曝光算法
- 1. 如何實現自動曝光？
- 2. 基于直方圖統計的算法
- - 2.1 Acquisition of Agronomic Images with Sufficient Quality by Automatic Exposure Time Control and Histogram Matching，2013
- 3. 基于熵的算法
- - 3.1 Camera Parameters Auto-Adjusting Technique for Robust Robot Vision，2010
- 4. 基于梯度的算法
- - 4.1 Active Exposure Control for Robust Visual Odometry in HDR Environments，2017
  - 4.2 Gradient-based Camera Exposure Control for Outdoor Mobile Platforms，2018

圖像傳感器與信號處理——自動曝光算法

我是搞視覺SLAM的，在很久之前我和一位視覺SLAM大佬交流過，視覺SLAM難以落地原因有很多，其中之一就是環境光照對SLAM系統有較大的影響，而在實際的應用過程中，我們很難去真正控制環境中的光照變化，尤其是在室外。因此如何使得輸入SLAM系統的圖像具備穩定的光照就是非常值得研究的，而自動曝光就是其中一個非常重要的解決方案。這就是我這幾天在家看這幾篇論文的出發點。

1. 如何實現自動曝光？

自動曝光的過程是一個經典的反饋控制過程。

首先，既然是控制我們就需要知道控制的是什么，對于一般的相機來說，和曝光相關的參數配置有光圈、曝光時間、增益等，其中光圈的配置必須通過硬件實現，因此在實際操作過程中一般只控制曝光時間和增益來實現自動曝光。

其次，既然是反饋我們就需要建立一個標準來衡量曝光程度的優劣，而這個衡量標準定義的不同則意味著自動曝光算法的不同，下文就是據此對自動曝光算法進行分類，分別是基于直方圖統計的算法、基于圖像熵的算法、基于梯度的算法。

2. 基于直方圖統計的算法

基于直方圖統計的算法相關文章較多，而且都比較舊想法也比較簡單，下面這些文章都是基于直方圖統計的算法：
（1）An Advanced Video Camera System with Robust AF, AE, and AWB Control，2001
（2）Real-time Image Fusion and Adaptive Exposure Control for Smart Surveillance Systems，2007
（3） 2.3 Automatic Camera Exposure Control，2007
（4） 2.4 Autonomous Configuration of Parameters in Robotic Digital Cameras，2009
這里只對下面這篇比較新的一篇論文進行分析：

2.1 Acquisition of Agronomic Images with Sufficient Quality by Automatic Exposure Time Control and Histogram Matching，2013

這篇文章主要描述的是一個在農用機器人上應用的實際場景，最終目的是通過自動曝光實現農用機器人更加準確地識別稻田里面的特征。對于自動曝光算法，其在圖像直方圖的基礎上有了進一步的改進，算法框架如下圖所示：

除了通過圖像直方圖計算曝光時間外，還會通過直方圖匹配對曝光后的圖像進行進一步優化。這篇文章采用的歸一化直方圖，首先計算： $μn(g)=∑ε(g?m)np(g)with?m=∑sg?p(g)\mu_{n}(g)=\sum_{\varepsilon}(g-m)^{n} p(g) \text { with } m=\sum_{s} g \cdot p(g)$ 其中 $g$ 的即直方圖的橫坐標，其范圍是 $0$ 到 $255$ ， $p (g)$ 是橫坐標 $g$ 在直方圖中對應的值， $m$ 是平均值在此基礎上可以計算方差 $v=μ2(g)v=\mu_{2}(g)$ 、偏度 $γ=μ3(g)μ2?3/2(g)\gamma=\mu_{3}(g) \mu_{2}^{-3 / 2}(g)$ 和峰度 $κ=μ4(g)μ2?2(g)\kappa=\mu_{4}(g) \mu_{2}^{-2}(g)$ ，這篇文章中用于Decision making的兩個參數是平均值 $m$ 和偏度 $γ\gamma$ ，如下所示：

$while?(mi≥muiand?γi≥∣γui∣)or(mi≤mliand?γi≥γli)\text{ while } \left(m_{i} \geq m_{u i} \text { and } \gamma_{i} \geq\left|\gamma_{u i}\right|\right) \text{or} \left(m_{i} \leq m_{l i} \text { and } \gamma_{i} \geq \gamma_{l i}\right)$ $T=\left(\frac{m_{R r e f}+m_{G r e f}}{m_{R}+m_{G}}\right) E T_{c u r r}$ 其中 $m_{i}$ 和 $γi\gamma_{i}$ 為圖像第 $i$ 個通道的均值和偏度（紅綠藍三個通道，但是由于農用場景的限制，這篇文章只考慮紅和綠兩個通道）， $m_{u i}$ 和 $m_{l i}$ 分別是均值的最大最小邊界， $γui\gamma_{u i}$ 和 $γli\gamma_{l i}$ 分別是偏度的最大最小邊界。 $m_{R r e f}$ 和 $m_{G r e f}$ 分別為參考圖像的直方圖平均值，通過上式就可以計算出優化后的曝光時間，即ET modification中的過程。
如果在Decision making中判定不需要進行曝光時間優化后就可以直接進行Image quality Improvement，其流程是分別計算輸入圖像和參考圖像的直方圖的累加概率 $P(gr)=∑i=0εsp(gi)and?P(gc)=∑i=0Rp(gc)P\left(g_{r}\right)=\sum_{i=0}^{\varepsilon_{s}} p\left(g_{i}\right) \text { and } P\left(g_{c}\right)=\sum_{i=0}^{R} p\left(g_{c}\right)$ 通過累加概率進行匹配，然后搜索最接近的 $P(gr)P\left(g_{r}\right)$ 值，然后用 $g_{r}$ 改變 $g_{c}$ （這里論文中是這么說的，但是具體如何改變并沒有舉例說明，具體怎么實現的會有點不清楚）。

3. 基于熵的算法

基于熵的自動曝光算法相關的文章好像并不多，目前就找到這一篇比較有代表性的：

3.1 Camera Parameters Auto-Adjusting Technique for Robust Robot Vision，2010

這篇文章主要是介紹了一種基于圖像熵的攝像機參數自動調節技術，根據香農定理信息內容可以通過熵進行描述，并且熵可以隨著信息內容增加而增大。在RGB色域中計算圖像熵，公式如下： $Entropy=?∑i=0L?1PRilog?PRi?∑i=0L?1PGilog?PGi?∑i=0L?1PBilog?PBi\begin{aligned} \text {Entropy}=&-\sum_{i=0}^{L-1} P_{R i} \log P_{R i}-\sum_{i=0}^{L-1} P_{G i} \log P_{G i}-\sum_{i=0}^{L-1} P_{B i} \log P_{B i} \end{aligned}$ 其中， $L = 256$ 為RGB顏色通道的離散范圍， $P_{R i}, P_{G i}, P_{B i}$ 分別是顏色 $R i, G i, B i$ 在圖像中的概率，由上式可知 $0=Min?(Entropy?)≤Entropy?≤Max?(Entropy?)=?3?∑i=0255(1/256)log?(1/256)=16.63550=\operatorname{Min}(\text { Entropy }) \leq \text { Entropy } \leq \operatorname{Max}(\text { Entropy })=-3 * \sum_{i=0}^{255}(1 / 256) \log (1 / 256)=16.6355$ 文章中提到控制的參數為曝光時間和增益，那么通過實驗可以測得圖像熵隨曝光時間和增益這兩個參數變化的趨勢如下圖所示：
其中圖中藍色背脊線上的參數都是可以接受的，但是如上圖所示的這種三維圖是不方便搜索最佳參數的，因此在實際應用中，將曝光時間和增益設置為相同的數值，這樣就可以將三維圖轉化為如下圖所示的二維圖：

其中圖（a）是室內測得的圖像熵隨參數變化的曲線，圖（b）是室外測得的圖像熵隨參數變化的曲線，如圖所示，圖像熵隨著參數呈單調遞增再單調遞減的變化趨勢。因此搜索就變得簡單，可以從一個較低的曝光時間和增益開始，以一定的步長朝峰值搜索，直到下一步的圖像熵小于當前步，那么就尋找到了最優的曝光和增益。

4. 基于梯度的算法

這是最近幾年比較熱門的一種算法，起碼對于SLAM來說，實驗證明這些算法是有效的，這里分享兩篇方法比較類似的文章：

4.1 Active Exposure Control for Robust Visual Odometry in HDR Environments，2017

題目直抒胸臆呀，就是通過自動曝光控制提高視覺里程計在高動態環境下的魯棒性。這篇文章中提出了在視覺里程計中應用自動曝光需要解決的問題是，一方面需要最大化圖像信息，另一方面需要補償由于曝光時間調整帶來的時間差。

首先解決第一個問題，如何最大化圖像信息，首先論文中定義了光度響應函數 $\Delta t)$ 其中， $I$ 為圖像的光照強度，輻照度 $E$ 描述了單位時間射入像素的能量， $Δt\Delta t$ 為曝光時間，而這個函數本身 $f$ 是很難有具體的表達式的，這也就是為什么在自動曝光系統中采用的多是反饋控制算法，如果有了光度響應函數的具體表達式，我們就可以通過這個表達式直接獲得合適的曝光時間。在此基礎上定義了逆響應函數 $g=\ln f^{-1}$ 這個逆響應函數并不是直接對響應函數求逆，那么光度響應函數的逆響應函數如下： $g~(I)=ln?E+ln?Δt\tilde{g}(I)=\ln E+\ln \Delta t$ 我們通過采集不同的曝光時間 $Δt\Delta t$ 的圖像，并計算圖像的光照強度 $I$ ，這樣就可以看做獲得了一組離散數據 $\ldots, Z_{\max }$ ，然后利用這組數據采用十階的多項式函數進行擬合函數 $g$ ，獲得函數 $g$ 后可以進一步函數的微分形式 $g′g^{\prime}$ ，如下圖所示就是這樣一條曲線：

有了這個基礎后，下面進一步建立曝光程度的評價標準，論文中建立了四種標準，并對標準進行了討論對比，首先將像素 $u\mathbf{u}$ 的梯度幅值定義為： $G(I,u,Δt)=∥?I(u,Δt)∥2G(\mathbf{I}, \mathbf{u}, \Delta t)=\|\nabla \mathbf{I}(\mathbf{u}, \Delta t)\|^{2}$ 其中 $?I(?)=[?I?x,?I?y]\nabla \mathrm{I}(\cdot)=\left[\frac{\partial \mathrm{I}}{\partial x}, \frac{\partial \mathrm{I}}{\partial y}\right]$ ，那么四種標準分別是：
（1）直接求和： $Msum=∑ui∈IG(ui)M_{\mathrm{sum}}=\sum_{\mathbf{u}_{i} \in \mathrm{I}} G\left(\mathbf{u}_{i}\right)$
（2）對數求和： $Mshim=∑ui∈ImuiM_{\mathrm{shim}}=\sum_{\mathbf{u}_{i} \in \mathrm{I}} m_{\mathbf{u}_{i}}$ 其中 $mui={1Nlog?(λ(G~(ui)?σ)+1),G(ui)≥σ0,G(ui)<σm_{\mathbf{u}_{i}}=\left\{\begin{array}{ll} {\frac{1}{N} \log \left(\lambda\left(\tilde{G}\left(\mathbf{u}_{i}\right)-\sigma\right)+1\right),} & {G\left(\mathbf{u}_{i}\right) \geq \sigma} \\ {0,} & {G\left(\mathbf{u}_{i}\right)<\sigma} \end{array}\right.$ 這種評價標準在下一篇論文中作更加詳細的分析。

（3）百分位數 $Mperc(p)=percentile?({G(ui)}ui∈I,p)M_{\mathrm{perc}}(p)=\text { percentile }\left(\left\{G\left(\mathbf{u}_{i}\right)\right\}_{\mathbf{u}_{i} \in \mathrm{I}}, p\right)$ 其中， $percentile?\text { percentile }$ 函數是求百分位數，例如當參數 $p$ 為0.5時，那么 $Mperc(p)M_{\mathrm{perc}}(p)$ 就是所有梯度幅值中的中位數。

（4）軟百分位數 $Msoftperc?(p)=∑i∈[0,S]Wih(p)?GithM_{\text {softperc }}(p)=\sum_{i \in[0, S]} W_{i \mathrm{h}}(p) \cdot G_{i \mathrm{th}}$ 其中 $S$ 為圖像中所有像素的數量， $GithG_{i \mathrm{th}}$ 為排好序的梯度幅值，而權重 $WihW_{i \mathrm{h}}$ 定義如下： $Wih={1Nsin?(π2[p?S]i)k,i≤?p?S?1Nsin?(π2?π2i??p?S?S??p?S?)k,i>?p?S?W_{i \mathrm{h}}=\left\{\begin{array}{ll} {\frac{1}{N} \sin \left(\frac{\pi}{2[p \cdot S]} i\right)^{k},} & {i \leq\lfloor p \cdot S\rfloor} \\ {\frac{1}{N} \sin \left(\frac{\pi}{2}-\frac{\pi}{2} \frac{i-\lfloor p \cdot S\rfloor}{S-\lfloor p \cdot S\rfloor}\right)^{k},} & {i>\lfloor p \cdot S\rfloor} \end{array}\right.$ 其中符號 $???\lfloor\cdot\rfloor$ 為向下取整。

在論文中，通過對比FAST角點在各自標準下最優圖像提取數量進行實驗對比，發現百分位數標準和軟百分位數標準提取數量會更多，然后還通過下面這張圖進行圖進行直觀效果說明，我覺得很有意思：從上到下分別是四個評價標準計算的值隨曝光時間的變化曲線，可以看到，前兩者是隨著曝光時間單調上升，而在最頂點是已經出現了過曝光的情況，后兩者則不會，曲線有極大值，而在極大值時圖像曝光對于細節的保留確實較優。

最后說明如何根據評價標準和光度響應函數進行自動曝光控制了，那么要做的就是將評價標準 $M$ 對曝光時間 $Δt\Delta t$ 求導，然后通過梯度下降法求得極大值，那么不管采用上面哪種評價標準，中間都包括求 $?G(?)?Δt\frac{\partial G(\cdot)}{\partial \Delta t}$ ，那么有 $?G(?)?Δt=2?I(u,Δt)???Δt[?I(u,Δt)]\frac{\partial G(\cdot)}{\partial \Delta t}=2 \nabla \mathbf{I}(\mathbf{u}, \Delta t)^{\top} \frac{\partial}{\partial \Delta t}[\nabla \mathbf{I}(\mathbf{u}, \Delta t)]$ 根據二階導數的對稱性，有 $??Δt[?I(u,Δt)]=?[??ΔtI(u,Δt)]\frac{\partial}{\partial \Delta t}[\nabla \mathbf{I}(\mathbf{u}, \Delta t)]=\nabla\left[\frac{\partial}{\partial \Delta t} \mathbf{I}(\mathbf{u}, \Delta t)\right]$ 求 $?I?Δt\frac{\partial \mathbf{I}}{\partial \Delta t}$ 就需要用到我們前面提到的光度響應函數 $?I?Δt=f(E(u)Δt)?Δt=f′(E(u)Δt)E(u)=f′[f?1(I)]E(u)=E(u)[f?1]′(I)=1g′(I)Δt\frac{\partial \mathbf{I}}{\partial \Delta t} = \frac{f(E(\mathbf{u}) \Delta t)}{\partial \Delta t} =f^{\prime}\left(E(\mathbf{u}) \Delta t\right) E(\mathbf{u})=f^{\prime}\left[f^{-1}(\mathbf{I})\right] E(\mathbf{u})=\frac{E(\mathbf{u})}{\left[f^{-1}\right]^{\prime}(\mathbf{I})} = \frac{1}{g^{\prime}(\mathbf{I}) \Delta t}$ 其中，最后一個等式是因為前面定義的逆響應函數 $g(I)=ln?f?1(I)g(\mathbf{I})=\ln f^{-1}(\mathbf{I})$ 那么對 $g$ 求導有 $g′(I)=[f?1]′(I)f?1(I)=[f?1]′(I)E(u)Δtg^{\prime}(\mathbf{I})=\frac{\left[f^{-1}\right]^{\prime}(\mathbf{I})}{f^{-1}(\mathbf{I})} =\frac{\left[f^{-1}\right]^{\prime}(\mathbf{I})}{E(\mathbf{u}) \Delta t}$ 將上式變形代入即可。因為 $g′(I)g^{\prime}(\mathbf{I})$ 在一開始就介紹了如何通過采樣擬合求得，那么最終 $?G(?)?Δt\frac{\partial G(\cdot)}{\partial \Delta t}$ 就可求得，就可以通過梯度下降法求得極大值。以 $Msoftperc?(p)M_{\text {softperc }}(p)$ 為例，我們可以求得其關于曝光時間 $Δt\Delta t$ 的導數有： $?Msoftperc??Δt=∑i∈[0,S]With??Gith?Δt\frac{\partial M_{\text {softperc }}}{\partial \Delta t}=\sum_{i \in[0, S]} W_{i \text { th }} \frac{\partial G_{i t h}}{\partial \Delta t}$ 那么曝光時間的更新方式為： $Δtnext?=Δt+γ?Msoftpere??Δt\Delta t_{\text {next }}=\Delta t+\gamma \frac{\partial M_{\text {softpere }}}{\partial \Delta t}$ 關于自動曝光的部分這篇文章就介紹到這里，文章后面一部分是進行曝光補償，這個稍后介紹

4.2 Gradient-based Camera Exposure Control for Outdoor Mobile Platforms，2018

這篇文章中提出要解決的問題一方面是如何進行基于圖像梯度的自動曝光控制，另一方面是如果實現多相機聯合曝光。

首先解決第一個問題，這篇文章提出，自然場景圖像的梯度分布滿足重尾分布，也就是場景中大部分梯度的幅值較小，大幅值梯度分布得少而離散。為了平衡梯度幅值與數量之間的關系，本文提出使用一個對數函數梯度進行映射： $mˉi={1Nlog?(λ(mi?δ)+1)for?mi≥δ0for?mi<δ\bar{m}_{i}=\left\{\begin{array}{ccc} {\frac{1}{N} \log \left(\lambda\left(m_{i}-\delta\right)+1\right)} & {\text { for }} & {m_{i} \geq \delta} \\ {0} & {\text { for }} & {m_{i}<\delta} \end{array}\right.$ 其中， $N=log?(λ(1?δ)+1)N=\log (\lambda(1-\delta)+1)$ ， $m_i$ 是像素 $i$ 處的梯度幅值，可以看到當梯度小于閾值 $δ\delta$ 時，梯度幅值映射為零。 $λ\lambda$ 是一個控制映射趨勢的參數。 $mˉi\bar{m}_{i}$ 就代表梯度信息中和梯度幅值相關的部分，其輸出控制在 $0$ 到 $1$ 。那么圖像的曝光評價標準就定義為： $M=∑mˉiM=\sum \bar{m}_{i}$ $M$ 越大說明曝光效果越好，圖像中包含的信息越多。接下來說明如何進行曝光控制，在利用當前曝光時間獲得的圖像進行 $γ\gamma$ 矯正，即 $Iout=IinγI_{o u t}=I_{i n}^{\gamma}$ ，并求取最優的矯正值 $γ^\hat{\gamma}$ ： $γ^=arg?max?γM(Iinγ)\hat{\gamma}=\arg \max _{\gamma} M\left(I_{i n}^{\gamma}\right)$ 具體操作是在 $γ=[11.9,1.9]\gamma=\left[\frac{1}{1.9}, 1.9\right]$ 的范圍里選取一些列的 $γ\gamma$ 值對當前圖像進行 $γ\gamma$ 矯正，并計算矯正后的曝光程度 $M$ ，然后利用五階的多項式函數對這一系列離散值進行擬合，組中求得最優的矯正值 $γ^\hat{\gamma}$ ，如下圖所示：獲得最優矯正值 $γ^\hat{\gamma}$ 后通過更新函數就可以直接對曝光時間進行更新，更新函數分為線性更新函數和非線性更新函數：
線性更新函數： $Et+1=(1+αKp(1?γ^))Et,α={1/2for?γ^≥11for?γ^<1E_{t+1}=\left(1+\alpha K_{p}(1-\hat{\gamma})\right) E_{t}, \alpha=\left\{\begin{array}{ccc} {1 / 2} & {\text { for }} & {\hat{\gamma} \geq 1} \\ {1} & {\text { for }} & {\hat{\gamma}<1} \end{array}\right.$ 非線性更新函數： $Et+1=(1+αKp(R?1))Ets.t.?R=d?tan?{(2?γ^)?arctan?(1d)?arctan?(1d)}+1\begin{aligned} E_{t+1} &=\left(1+\alpha K_{p}(R-1)\right) E_{t} \\ \text { s.t. } \quad R &=d \cdot \tan \left\{(2-\hat{\gamma}) \cdot \arctan \left(\frac{1}ze8trgl8bvbq\right)-\arctan \left(\frac{1}ze8trgl8bvbq\right)\right\}+1 \end{aligned}$ 其中 $E_{t}$ 是 $t$ 時刻的曝光水平，更新的最終結果是使得最優矯正值 $γ^\hat{\gamma}$ 趨近與 $1$ ，這樣就完成了整個反饋的控制。在此基礎上，這篇文章一個很重要的貢獻是實現了多相機的聯合自動曝光，這里簡單介紹下： $Et+1i?=arg?min?Xαi?Eu(i,t)+1?αiN∑j∈G(i)Ep(i,j,t)s.t.?Eu(i,t)=∥X?Et+1i∥2Ep(i,j,t)=∥X?rij?Eti?∥2rij=median?(mean?(pj)mean?(pi)+?),p∈P\begin{aligned} E_{t+1}^{i *}=& \underset{X}{\arg \min } \quad \alpha^{i} \cdot \mathcal{E}_{u}(i, t)+\frac{1-\alpha^{i}}{N} \sum_{j \in G(i)} \mathcal{E}_{p}(i, j, t) \\ \text { s.t. } & \mathcal{E}_{u}(i, t)=\left\|X-E_{t+1}^{i}\right\|^{2} \\ & \mathcal{E}_{p}(i, j, t)=\left\|X-r^{i j} \cdot E_{t}^{i *}\right\|^{2} \\&r^{i j}=\operatorname{median}\left(\frac{\operatorname{mean}\left(p^{j}\right)}{\operatorname{mean}\left(p^{i}\right)+\epsilon}\right), \quad p \in P \end{aligned}$ 其中，優化函數將所需曝光量視為一元項 $Eu(i,t)\mathcal{E}_{u}(i, t)$ ，并將重疊區域中的亮度相似度作為成對項 $Ep(i,j,t)\mathcal{E}_{p}(i, j, t)$ ， $P$ 是兩個相機之間的重疊區域，通過以上式為最優化目標進行優化操作就可以獲得各個相機在聯合自動曝光下最優曝光水平。

目前就看了這十篇左右的論文，看著看著又發現了近幾年出的幾篇很好的文章，是和SLAM相關的，考慮如何更好地將自動曝光算法和SLAM結合起來以提高系統的性能，很有意思。這篇博客就先寫這么多，寫得太長了自己都要看吐了，接下來把新的幾篇論文看完再重新總結下，有問題歡迎交流~

總結

以上是生活随笔為你收集整理的图像传感器与信号处理——自动曝光算法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

上一篇：图像传感器与信号处理——详解图像传感器噪
下一篇：论文阅读——《Exposure Cont