論文閱讀——《Exposure Control using Bayesian Optimization based on Entropy Weighted Image Gradient》

• 《Exposure Control using Bayesian Optimization based on Entropy Weighted Image Gradient》
• • 1. 曝光評價標準——熵權梯度
  • • 2.1 什么是圖像熵？
    • 2.2 為什么用圖像熵？
    • 2.3 怎么使用圖像熵？
    • 2.4 評價效果怎么樣？
  • 2. 自動曝光控制——貝葉斯優化
  • • 2.1 什么是貝葉斯優化？
    • 2.2 貝葉斯優化是如何進行？

《Exposure Control using Bayesian Optimization based on Entropy Weighted Image Gradient》

最近這是一篇在2018年ICRA上發表的會議論文，主要內容是提出一種新的曝光評價標準，以及一種新的自動曝光控制策略，關于自動曝光的其他文章可以參考我之前的這篇博客：
圖像傳感器與信號處理——自動曝光算法
我之前這篇博客分享了兩篇2017年發表的利用梯度進行自動曝光的文章，這篇文章中在相關工作中也提到了，說之前的那兩篇只考慮了梯度信息，對于過曝光和欠曝光的處理效果不佳，這篇文章對于這個問題則有更好的解決方案。

1. 曝光評價標準——熵權梯度

所謂“熵權梯度”就是用圖像熵來作為梯度的權值。

2.1 什么是圖像熵？

這個熵是以像素為單位來定義的（參考《A mathematical theory of communication》），其計算公式是：$$H_i=?\sum _{k}P\left(i_k\right){\log }_2\left(P\left(i_k\right)\right)$$其中$P(?)$是和像素梯度級數$k$相關的概率，因此在計算這個概率之前需要先計算像素$i$的梯度$\Vert ?I(i){\Vert }^2$。圖像熵可以描述這個像素周圍紋理復雜程度，圖像熵大則說明這個像素周圍紋理復雜。

2.2 為什么用圖像熵？

文中說利用圖像熵一方面可以最小化圖像梯度噪聲，另一方面可以建立一個飽和區域蒙版，減小過曝光或欠曝光區域來提升圖片整體效果。

2.3 怎么使用圖像熵？

這就是最重要的，首先曝光評價標準的計算公式為：$$G_{\text{ewg?}}=\sum g_i$$其中，$g_i$就是熵權梯度，這里先給出熵權梯度的定義公式：$$g_i=W_i\Vert ?I(i){\Vert }^2+\pi \left(H_i\right)M_i\left(H_i\right)W_i\frac{1}{N}\sum _{j=0}^{N?1}\Vert ?I(j){\Vert }^2$$可以看出，這個圖像熵公式由兩部分構成，第一部分$W_i\Vert ?I(i){\Vert }^2$是主要部分，第二部分$\pi \left(H_i\right)M_i\left(H_i\right)W_i\frac{1}{N}{\sum }_{j=0}^{N?1}\Vert ?I(j){\Vert }^2$就是通過建立蒙版來減小過曝光或欠曝光區域的，下面分別解析：

（1）第一部分$W_i\Vert ?I(i){\Vert }^2$：
權重$W_i$的定義公式如下：$$W_i=\frac{w_i}{{\sum }_{i=0}^{N?1}{w}_i}$$其中$$w_i=\frac{1}{\sigma }\exp \left\{\frac{{\left(H_i?\mathrm{mean}\left(H_i\right)\right)}^2}{2{\sigma }^2}\right\}$$其中$\sigma$是方差，$i$是像素位置。根據公式，大的圖像熵將獲得較大的權值，反之則權值較小。

（2）第二部分$\pi \left(H_i\right)M_i\left(H_i\right)W_i\frac{1}{N}{\sum }_{j=0}^{N?1}\Vert ?I(j){\Vert }^2$：
激活函數$\pi \left(H_i\right)$的定義公式如下：$$\pi \left(H_i\right)=\frac{2}{1+\exp \left(?\alpha H_i+\tau \right)}?1,0\le H_i\le 1$$其中參數$\alpha$控制像素$i$的圖像熵和梯度的之間的關系，如果$\alpha$較大時則考慮更多圖像熵的因素，飽和區域會更快被控制，如果$\alpha$較小時則考慮更多梯度的因素。參數$\tau$控制可以被視作飽和區域像素的最小圖像熵水平，激活函數隨這兩個參數變化的圖像如下圖所示：
這里指的注意的是，激活函數輸入的是像素的圖像熵，從圖像上可以很直觀的看到，小的圖像熵激活函數輸出負值，大的則輸出正值。
蒙版函數$M_i\left(H_i\right)$的定義公式如下：$$M_i\left(H_i\right)=\{\begin{array}{ll}0,& H_{\text{thres}}\le H_i\le 1\\ 1,& 0\le H_i<H_{\text{thres}}\end{array}$$通過公式可以看出，當圖像熵較大時，蒙版輸出為0，當圖像熵較小時，蒙版輸出為1。也就說蒙版只對圖像熵小的像素進行限制。
結合激活函數和蒙版函數的特性知道，過曝光或者欠曝光區域像素圖像熵通常較小，第二部分因此在這些像素上輸出小值或者負值，使得過曝光或者欠曝光的圖像按照曝光評價標準計算出來更小。

2.4 評價效果怎么樣？

文中給了這樣一幅圖：其中紅色標記和紅色曲線為本文的評價標準，可以看出來最優的曝光圖片其過曝光區域確實相對較小。

2. 自動曝光控制——貝葉斯優化

有了曝光評價函數后就需要考慮如果通過曝光評價函數來進行自動曝光控制，以獲取最優曝光，目前我看過好幾種算法了，例如在《Active Exposure Control for Robust Visual Odometry in HDR Environments，2017》中，文中采用的是通過就曝光評價函數對曝光時間的偏導，然后通過高斯牛頓法獲取最優曝光。在《Gradient-based Camera Exposure Control for Outdoor Mobile Platforms，2018》中是通過最優$\gamma$矯正來獲取最優曝光。本文提出一種基于貝葉斯優化的自動曝光控制算法，挺有意思。

2.1 什么是貝葉斯優化？

貝葉斯優化算法通常用在機器學習中尋找最優超參數的問題中，具體問題可以這么描述，如下：$$X^{?}={\arg }_{x\in S}\max f(x)$$其實就是在集合$S$中選擇參數$x$使得函數$f(x)$最大，最核心的問題就是函數$f$是未知且不一定是凸函數，對應到我們自動曝光過程中，參數$x$就是曝光程度，而函數$f$就是曝光評價隨曝光程度的變化趨勢

2.2 貝葉斯優化是如何進行？

文中這幅圖就很形象地說明了貝葉斯優化的過程：

貝葉斯優化算法最核心的內容主要有兩部分構成，分別是Prior Function和Acquisition Function,下面分別進行說明：

（1）Prior Function
前面提到，我們要求的函數$f$是完全未知的，因此我們就要通過模型建立Prior Function，在上圖中，藍色曲線就是我們要求的函數$f$，而"紫色柵格"就是基于高斯模型建立的Prior Function，基于高斯模型建立的Prior Fuction這個函數的自變量對應的不是一個標量，而是一個高斯分布。從上圖中可以看到，貝葉斯優化的過程實際上就是不斷采樣使得Prior Fuction不斷逼近函數$f$（如何采樣就和Acquisition Function有關），其具體公式如下：$$\begin{array}{rl}\mu \left(x_{?}\right)& ={\mathbf{k}}_{?}^T{\left(K+{\sigma }_n^{2}I\right)}^{?1}\mathbf{y}\\ {\sigma }^2\left(x_{?}\right)& =k\left(x_{?},x_{?}\right)?{\mathbf{k}}_{?}^T{\left(K+{\sigma }_n^{2}I\right)}^{?1}{\mathbf{k}}_{?}\end{array}$$其中，內核矩陣$K={\left[k\left(x_i\right),k\left(x_j\right)\right]}_{x_i,x_j\in \mathbf{x}}$，${\mathbf{k}}_{?}={\left[k\left(x_i,x^{?}\right)\right]}_{x_i\in \mathbf{x}}$，其中$\mathbf{x}$是已有的采樣點集合，$k(?,?)$是內核函數，本文采用的是平方指數函數。那么$\mu \left(x_{?}\right)$和${\sigma }^2\left(x_{?}\right)$分別是函數在自變量$x_{?}$處的均值方差。

（2）Acquisition Function
前文提到要如何進行采樣，Acquisition Funtion就是根據當前的Prior Function獲取下一階段采樣的算法，文中分為$\text{MAXVAR}$算法和$\text{MAXMI}$算法.

那么論文中整個控制算法的偽代碼如下圖所示，我覺得有了前面的理解，對偽代碼的閱讀就沒那么困難了，只是可能復現出來還有一定難度：


其中$\mathbf{x}=\left(x_0,?,x_m\right)$，$\mathbf{y}=\left(y_0,?,y_m\right)$，我按照對算法的理解繪制了如下流程圖，便于理解：

最后實驗結果部分就不介紹了，反正很牛逼就對了，這里是實驗結果視頻，好啦，那么這篇paper就總結到這兒，不知道2019和2020有沒得更新的成果，花時間去找找，有問題歡迎交流~

總結

以上是生活随笔為你收集整理的论文阅读——《Exposure Control using Bayesian Optimization based on Entropy Weighted Image Gradient》的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。