基于區(qū)域協(xié)方差的結(jié)構(gòu)保持圖像平滑

原文：https://dl.acm.org/citation.cfm?id=2508403

摘要
近年來見證了新的圖像平滑技術(shù)的出現(xiàn)，這些技術(shù)提供了新的見解并提出了關(guān)于這個(gè)研究得很好的問題的本質(zhì)的新問題。具體而言，這些模型通過利用邊緣的非梯度定義或區(qū)分邊緣與振蕩的特殊度量將給定圖像分離為其結(jié)構(gòu)和紋理層。在這項(xiàng)研究中，我們提出了另一種簡(jiǎn)單的圖像平滑方法，它取決于簡(jiǎn)單圖像特征的協(xié)方差矩陣，即區(qū)域協(xié)方差。使用二階統(tǒng)計(jì)量作為補(bǔ)丁描述符允許我們隱式地捕獲局部結(jié)構(gòu)和紋理信息，并使我們的方法對(duì)于從紋理的結(jié)構(gòu)提取特別有效。我們的實(shí)驗(yàn)結(jié)果表明，與最先進(jìn)的方法相比，所提出的方法導(dǎo)致更好的時(shí)間分解，并且保留了突出的邊緣和陰影。此外，我們還展示了我們的方法在某些圖像編輯和操作任務(wù)中的適用性，例如圖像抽象，紋理和細(xì)節(jié)增強(qiáng)，圖像合成，逆半色調(diào)和縫合雕刻。

關(guān)鍵字：圖像平滑，結(jié)構(gòu)提取，紋理消除，區(qū)域協(xié)方差

1 介紹
????自然圖像提供有關(guān)我們生活世界的豐富視覺信息，并且通常包含以有意義的配置組織的各種對(duì)象。例如，考慮圖1中給出的圖像，其顯示了由巖石表面上的高度紋理化的圖形組成的歷史站點(diǎn)。雖然我們的視覺系統(tǒng)非常成功地提取圖像下方的突出結(jié)構(gòu)而不會(huì)被紋理分散，使機(jī)器能夠執(zhí)行相同的任務(wù)，即將圖像分解成其結(jié)構(gòu)和紋理組件，這提出了巨大的挑戰(zhàn)。
????從計(jì)算的觀點(diǎn)來看，圖像分解可以表示為估計(jì)問題，其中給定圖像被分成分別對(duì)應(yīng)于粗略和精細(xì)圖像細(xì)節(jié)的兩個(gè)分量。從歷史上看，高斯濾波器是最古老的，也是最常用的平滑算子[Witkin 1984; Burt and Adelson 1983]。它提供了圖像的線性刻度空間表示，其中輸入圖像在所有方向上以恒定速率平滑。非線性尺度空間算子通過創(chuàng)建圖像的尺度空間表示來擴(kuò)展線性算子，該圖像由逐漸簡(jiǎn)化的圖像組成，其中保留了諸如邊緣的一些圖像特征[Perona和Malik 1990;魯丁等人。 1992; Tomasi和Manduchi 1998; Durand和Dorsey 2002; Buades等。 2005; Farbman等。 2008;徐等人。 2011]。這些運(yùn)算符中的每一個(gè)都以不同的方式在平滑處理中集成先驗(yàn)邊緣信息，目的是提取或刪除某些圖像細(xì)節(jié)。
????邊緣保持平滑方法，即各向異性擴(kuò)散濾波器[Perona和Malik 1990]，總變差模型[Rudin等。 1992年]，雙邊過濾器[Tomasi和Manduchi 1998; Durand和Dorsey 2002]，NL-means過濾器[Buades et al。 2005]，WLS fil ter [Farbman et al。 2008]，L0平滑[Xu et al。 2011]通常采用亮度值或梯度幅度的差異作為圖像像素處的邊緣指示符的主要提示，并利用該信息來指導(dǎo)平滑處理。然而，這些基于對(duì)比度的局部對(duì)邊緣的定義可能無法捕獲與精細(xì)圖像細(xì)節(jié)或紋理相關(guān)的高頻分量。因此，這些方法不能將紋理區(qū)域與主結(jié)構(gòu)完全分離，因?yàn)樗鼈儗⑺鼈円暈樵谟?jì)算期間要保留的結(jié)構(gòu)的一部分。
????在本文中，我們提出了一種新穎的結(jié)構(gòu)保持圖像平滑方法，它共同消除紋理。在文獻(xiàn)中，只有少數(shù)研究解決了從紋理中提取結(jié)構(gòu)的挑戰(zhàn)性問題[Meyer 2001; Subr等。 2009年; Farbman等。 2010; Buades等。 2010;徐等人。 2012]。與之前的模型相比，我們的方法執(zhí)行基于補(bǔ)丁的分析，這取決于二階特征統(tǒng)計(jì)。具體來說，我們考慮區(qū)域協(xié)方差矩陣[Tuzel et al。在簡(jiǎn)單的圖像特征中，例如強(qiáng)度，顏色和方向，以估計(jì)簡(jiǎn)單自適應(yīng)濾波框架內(nèi)的兩個(gè)圖像塊之間的相似性。如圖1所示，所提出的模型可以有效地消除紋理而不會(huì)扭曲結(jié)構(gòu)。從紋理中提取結(jié)構(gòu)大大提高了許多圖像編輯工具的結(jié)果。在整篇論文中，我們還將展示幾種圖像編輯和操作應(yīng)用，包括圖像抽象，紋理和細(xì)節(jié)增強(qiáng)，圖像合成，逆半色調(diào)和縫合雕刻。

圖1：我們的方法利用區(qū)域協(xié)方差將圖像分解為粗糙和精細(xì)分量。粗糙分量對(duì)應(yīng)于圖像下方的突出結(jié)構(gòu)，而精細(xì)分量?jī)H包括紋理。我們的平滑方法成功捕獲了人物紋理和巖石紋理，同時(shí)保留了提取結(jié)構(gòu)中的邊緣（源圖像c reibai）。

2 背景
2.1 前期工作
????在文獻(xiàn)中，傳統(tǒng)的結(jié)構(gòu)保持圖像分解策略是執(zhí)行聯(lián)合圖像平滑和邊緣檢測(cè)[Perona和Malik 1990;魯丁等人。 1992; Tomasi和Manduchi 1998; Farbman等。 2008;徐等人。 2011]。這些統(tǒng)一的方式通過平滑圖像，同時(shí)保留甚至增強(qiáng)圖像邊緣，簡(jiǎn)單地將給定圖像分解為結(jié)構(gòu)和細(xì)節(jié)，并且它們?cè)谌绾味x邊緣以及該先驗(yàn)信息如何指導(dǎo)平滑方面彼此不同。
????各向異性擴(kuò)散模型[Perona和Malik 1990]采用基于PDE的公式，其中從圖像梯度估計(jì)像素方式的空間變化的差異。這些擴(kuò)散性可防止圖像邊緣平滑，并保留重要的圖像結(jié)構(gòu)，同時(shí)消除噪聲和細(xì)節(jié)。
????雙邊過濾[Tomasi和Manduchi 1998; Durand和Dorsey 2002]是另一種廣泛使用的模型，用于消除圖像中的噪聲，同時(shí)進(jìn)行細(xì)節(jié)平整和邊緣保護(hù)。由于其簡(jiǎn)單性和有效性，雙邊過濾已成功應(yīng)用于幾種計(jì)算攝影應(yīng)用[Fattal等。 2007; Winnemoller等。 2006年]。
????然而，正如Farbman等人所指出的那樣。 [2008]，通過雙邊濾波的多尺度圖像分解由于正在進(jìn)行的粗化處理而具有一些光暈偽像。加權(quán)最小二乘濾波（WLS）[Farbman et al。通過強(qiáng)制除了大梯度值外的濾波圖片平滑的方式來控制平滑級(jí)別克服了偽影問題。
????在最近的一項(xiàng)工作中，徐等人。 [2011]引入了一種使用稀疏梯度測(cè)量的魯棒濾波方法。優(yōu)化框架將具有非零梯度幅度的圖像像素的數(shù)量視為可以與L0范數(shù)相關(guān)聯(lián)的正則化約束。因此，所提出的濾波器以小的梯度幅度去除圖像細(xì)節(jié)，同時(shí)保留甚至增強(qiáng)圖像中最顯著的邊緣。
????上述研究都取決于梯度幅度或亮度差異。因此，正在進(jìn)行的平滑處理通常不能將精細(xì)圖像細(xì)節(jié)或紋理與主圖像結(jié)構(gòu)區(qū)分開，因此導(dǎo)致不令人滿意的圖像分解。一些研究試圖通過使用基于測(cè)地線的更好的相似性度量來改善這種分離[Cri minisi et al。 2010]或擴(kuò)散[Farbman et al。 2010]距離代替?zhèn)鹘y(tǒng)的歐幾里德距離用于顏色或強(qiáng)度比較。
????另一種邊緣保持正則化框架是總變分（TV）模型[Rudin等。 1992]，它使用基于L1范數(shù)的正則化約束來懲罰大的梯度量值。在其原始配方中，該模型為結(jié)構(gòu)與紋理提供了相當(dāng)好的分離。一些研究擴(kuò)展了標(biāo)準(zhǔn)化電視制定的正則化和數(shù)據(jù)保真度術(shù)語的不同規(guī)范，并證明更強(qiáng)大的規(guī)范可以改善圖像分解[Aujol et al。 2006; Meyer 2001]。在[Buades等人。 2010年，作者提出了一種相對(duì)簡(jiǎn)單的技術(shù)，通過使用非線性低通高通濾波器對(duì)將圖像分解為結(jié)構(gòu)和振蕩紋理分量。它用于計(jì)算像素周圍圖像的局部總變化，然后執(zhí)行分解。最近，徐等人。 [2012]提出了另一種具有相對(duì)總變差測(cè)量的穩(wěn)健方法，并表明通過空間變化的總變差測(cè)量可以實(shí)現(xiàn)更好的分離。
????Subr等人已經(jīng)提出了用于多尺度圖像分解的替代模型。 [2009]，其特別旨在消除通常對(duì)應(yīng)于紋理的圖像的振蕩分量并提取包含顯著結(jié)構(gòu)的層。建議的框架通過極值分析進(jìn)行這種分離，其中首先從局部最小值和最大值的外推估計(jì)出最小和最大極值包絡(luò)，然后通過極值包絡(luò)的平均年齡來計(jì)算平滑結(jié)果。由于該框架在其計(jì)算中考慮了紋理的振蕩行為，因此與大多數(shù)邊緣保留圖像分解模型相比，它提供了更好的結(jié)果。然而，實(shí)際上，當(dāng)對(duì)包含紋理和有意義結(jié)構(gòu)的圖像區(qū)域進(jìn)行分析時(shí)，這種平均思想可能會(huì)失敗。
????總之，大多數(shù)現(xiàn)有的圖像分解模型旨在從具有邊緣保留能力的噪聲中提取結(jié)構(gòu)。然而，其中只有少數(shù)具有從紋理中提取結(jié)構(gòu)的特定目標(biāo)。我們?cè)诒疚闹刑岢龅墓脚c這些相關(guān)工作的不同之處在于它基于基于補(bǔ)丁的框架并且采用基于區(qū)域協(xié)方差描述符的相似性度量。在第4節(jié)中，我們提供了這些方法的結(jié)果比較和討論。
2.2 區(qū)域協(xié)方差
????通過從其中的像素提取的特征的協(xié)方差表示圖像區(qū)域，稱為區(qū)域協(xié)方差描述符，首先在[Tuzel等人提出。 2006年]。在數(shù)學(xué)術(shù)語中，設(shè)F表示從圖像I中提取的特征圖像：

????其中φ定義了一個(gè)映射函數(shù)，它從每個(gè)像素i∈I中提取d維特征向量（例如由強(qiáng)度，顏色，方向，像素坐標(biāo)等構(gòu)成）。然后，可以表示特征圖像F內(nèi)的區(qū)域R使用d×d協(xié)方差矩陣CR來表示特征點(diǎn)：

????zk = 1 … n表示R內(nèi)的d維特征向量，μ表示這些特征向量的平均值。
????協(xié)方差矩陣提供了一種緊湊而自然的方式來融合不同的視覺特征，其對(duì)角元素表示特征方差，其非對(duì)角元素表示特征之間的相關(guān)性。此外，它在區(qū)分局部圖像結(jié)構(gòu)方面提供了極大的判別力。如圖2所示，具有相似紋理和局部結(jié)構(gòu)的區(qū)域由相似的協(xié)方差矩陣描述。在這項(xiàng)研究中，我們使用區(qū)域協(xié)方差描述符來測(cè)量?jī)蓚€(gè)像素之間相對(duì)于局部圖像幾何的相似性。

圖二：公眾可獲得的芭芭拉圖像的不同區(qū)域的區(qū)域協(xié)方差描述符。具有相似視覺特性的區(qū)域由類似的協(xié)方差描述符表示。在該示例中，協(xié)方差表示基于非常簡(jiǎn)單的圖像特征，即強(qiáng)度，方向和像素坐標(biāo)（等式6）。
????盡管具有這些優(yōu)點(diǎn)，但是將兩個(gè)圖像區(qū)域與其協(xié)方差描述符進(jìn)行比較往往在計(jì)算耗時(shí)，因?yàn)閰f(xié)方差矩陣不存在于歐式空間上，而是存在于黎曼流形上，并且需要非平凡的相似性度量[ Tuzel等人。 2006; Cherian et al.2011]。 Hong等人提出了一個(gè)有趣的問題。 [2009]作者利用每個(gè)協(xié)方差矩陣（對(duì)稱正半確定矩陣）具有唯一的Cholesky分解并將其用于將協(xié)方差矩陣變換為歐幾里德向量空間的屬性。
????更正式地，令C為d×d協(xié)方差矩陣，一組唯一的點(diǎn)S = {si}，稱為Sigma點(diǎn)，可以計(jì)算如下：

????其中Li是下三角矩陣L的第i列，其中Cholesky分解C = LLT，α是標(biāo)量1。在這里，重要的是要注意L的列具有與原始協(xié)方差矩陣C相同的二階統(tǒng)計(jì)量[Hong et al。 2009年]。

3 方法
????許多自然紋理位于規(guī)則和隨機(jī)紋理的兩個(gè)極端之間，因?yàn)樗鼈儼?guī)則的周期性結(jié)構(gòu)以及附加的不規(guī)則隨機(jī)分量。在這里，我們采用紋理的一般定義作為任何具有獨(dú)特外觀和局部統(tǒng)計(jì)的視覺模式[Efros and Leung 1999]。在這方面，區(qū)域協(xié)方差描述符[Tuzel et al。由于協(xié)方差矩陣通過特征之間的二階統(tǒng)計(jì)關(guān)系有效地編碼局部幾何，因此是表示紋理信息的完美候選者。但是，應(yīng)該注意的是，這個(gè)描述符有一個(gè)小缺點(diǎn)，即它不能解釋平均值的差異。因此，在本文中，我們研究了兩種不同的模型，它們結(jié)合了一階和二階統(tǒng)計(jì)量，提出了一個(gè)簡(jiǎn)單而有效的過濾框架，用于從不同類型的紋理中提取結(jié)構(gòu)。
????我們的目標(biāo)是將給定的圖像I分解為其結(jié)構(gòu)（S）和紋理（T）部分，即：

????在這項(xiàng)研究中，我們遵循基于補(bǔ)丁的方法，非常類似于NL-Means [Buades等人。 [] 2005]方法，并將像素p的結(jié)構(gòu)分量計(jì)算為：

????其中N（p，r）表示以p和大小（2r + 1）×（2r + 1）像素為中心的平方鄰域，并且wpq是像素p和q基于在這些像素中心的k×k補(bǔ)丁之間的相似性測(cè)量的權(quán)重，Zp = Pq wpq是歸一化因子。
????我們的自適應(yīng)過濾框架的關(guān)鍵在于我們?nèi)绾味xwpq。與基于斑塊之間的高斯加權(quán)歐氏距離計(jì)算wpq的NL-Means方法相比，這里我們提出了兩種基于區(qū)域協(xié)方差的替代方案[Tuzel等人。 2006]描述符，它利用一階和二階統(tǒng)計(jì)來編碼局部結(jié)構(gòu)以及紋理信息。
????提出的框架非常普遍不依賴于特殊的特征。在我們的實(shí)現(xiàn)中，我們使用簡(jiǎn)單的視覺特性，即強(qiáng)度，方向和像素坐標(biāo)，以便用7維特征向量表示圖像像素：

????其中I表示像素的強(qiáng)度，2、3、4、5項(xiàng)分別是x和y方向強(qiáng)度的一階和二階導(dǎo)數(shù)，通過濾波器[-1 0 1]和[-1 2 -1]估算，和（x， y）表示像素位置。因此，圖像塊的協(xié)方差描述符被計(jì)算為7×7矩陣。將（x，y）包括在特征集中很重要，因?yàn)樗试S我們用空間坐標(biāo)編碼其他特征的相關(guān)性。如果需要，可以擴(kuò)展特征集以包括其他特征，例如衍生物的旋轉(zhuǎn)不變形式。
????在實(shí)驗(yàn)中，我們通過使用強(qiáng)度信息計(jì)算補(bǔ)丁相似性權(quán)重wpq并且在相應(yīng)的RGB矢量上取加權(quán)平均而不是等式5中的強(qiáng)度值來處理彩色圖像。我們憑經(jīng)驗(yàn)發(fā)現(xiàn)將RGB分量包括在特征集中不會(huì)改變結(jié)果，但會(huì)增加運(yùn)行時(shí)間。

模型一
????使用由方程（3）定義的集合S，可以通過簡(jiǎn)單地連接S的元素來獲得協(xié)方差矩陣的矢量表示。此外，通過包括特征μ的平均向量，可以容易地將一階統(tǒng)計(jì)量結(jié)合到該表示方案中。由Ψ（C）表示的這個(gè)豐富的特征向量定義為：

????然后，我們簡(jiǎn)單地將方程（5）中的權(quán)重wpq定義為：

????Cp和Cq分別表示從以像素p和q為中心的片段中提取的協(xié)方差描述符。

模型二
????作為測(cè)量?jī)蓚€(gè)圖片像素相對(duì)于一階和二階特征統(tǒng)計(jì)的相似性的另一種方法，我們提出了一個(gè)距離測(cè)度，可以看作是兩個(gè)正態(tài)分布之間的馬哈拉諾比斯距離的近似。更具體地，對(duì)于兩個(gè)圖像像素p和q，相應(yīng)的距離測(cè)量定義為：

????有C = Cp + Cq，μp和μq以及Cp，Cq表示從以像素p和q為中心的圖像塊提取的特征的均值和協(xié)方差。
????基于該測(cè)量，等式中的計(jì)算的自適應(yīng)權(quán)重可以替代地如下定義：

????算法1總結(jié)了我們的結(jié)構(gòu)保持圖像平滑算法的簡(jiǎn)單實(shí)現(xiàn)。我們的代碼在項(xiàng)目網(wǎng)站上公開。

????圖3顯示了使用我們的平滑模型（模型1和模型2）獲得的樣本結(jié)構(gòu) - 紋理分解。輸入圖像包含具有不同特征的各種紋理區(qū)域，例如鋪在桌子上的布料，褲子和女孩的圍巾。可以看出，兩個(gè)提出的模型成功地將紋理與結(jié)構(gòu)分離，模型2略微優(yōu)于模型1.有趣的是，方程8和10中定義的相似性度量非常有效，它們可以從紋理中區(qū)分局部結(jié)構(gòu)，不使用顯式邊或紋理定義。此外，正如我們將在第4節(jié)中分析的那樣，我們的方法的一個(gè)關(guān)鍵差異是我們的兩個(gè)平滑模型也保留陰影信息。

圖3：頂行：模型1，底行：模型2.桌布，褲子和圍巾的紋理以精確的方式提取。在平滑過程中，模型2保留圖像邊緣略微優(yōu)于模型1，同時(shí)消除紋理。

參數(shù)的影響
????我們的兩個(gè)模型都有兩個(gè)主要參數(shù)，k和σ。空間參數(shù)σ控制平滑的級(jí)別，因?yàn)樗[含地確定了鄰域窗口的大小。對(duì)于小的σ值，我們有限的平滑，而增加σ的值會(huì)導(dǎo)致模糊。另一方面，參數(shù)k控制從中計(jì)算特征統(tǒng)計(jì)的塊的大小，并因此控制要捕獲的局部結(jié)構(gòu)信息。因此，應(yīng)該通過考慮紋理元素的比例來設(shè)置其值。在這方面，結(jié)構(gòu)紋理分離比空間參數(shù)σ更重要。如圖4所示，利用適當(dāng)?shù)膋值，可以準(zhǔn)確地將馬賽克圖像的結(jié)構(gòu)分量與紋理分離。過打增加塊大小可能會(huì)導(dǎo)致從塊中提取不準(zhǔn)確的信息，因?yàn)樗赡軙?huì)混合紋理和有意義的結(jié)構(gòu)，從而導(dǎo)致結(jié)構(gòu)被視為精細(xì)細(xì)節(jié)。在所有實(shí)驗(yàn)中，我們根據(jù)經(jīng)驗(yàn)將鄰域大小設(shè)置為21×21像素（有關(guān)改變鄰域窗口大小的影響的分析，請(qǐng)參閱補(bǔ)充材料）。

多尺度分解
????在平滑給定圖像I的同時(shí)，我們的方法將其分離為結(jié)構(gòu)組件S和紋理組件T.我們迭代地使用該過程來獲得輸入圖像的多尺度分解，其中每個(gè)層捕獲不同的精細(xì)細(xì)節(jié)。我們通過在每次迭代時(shí)增加塊k大小（通過增加分析的規(guī)模）并通過在迭代時(shí)使用提取的結(jié)構(gòu)分量作為后續(xù)迭代中的平滑過程的輸入來平滑輸入圖像：在n次迭代之后，這會(huì)產(chǎn)生分解：

????這里，T1，T2 ,. 。 .Tn表示在粗糙度增加的情況下提取的紋理成分，而Sn是最粗糙的結(jié)構(gòu)成分。圖5顯示了通過所提出的模型1獲得的兩幅梵高繪畫的多尺度表示（參見模型2結(jié)果的補(bǔ)充材料）。通過積極地平滑圖像，從每層的原始繪畫中平滑出一些精細(xì)的細(xì)節(jié)。最粗糙的圖層表示不包含任何筆觸，我們獲得原始繪畫的更平滑版本。

圖5：通過增加k的值并逐漸平滑圖像，我們提取原始繪畫的較粗糙的表示。每個(gè)平滑操作使得從圖像中去除不同的精細(xì)細(xì)節(jié)，并且最終級(jí)別平滑完全消除了存在于畫面中的畫筆筆劃（源圖像 ?維基共享資源）。

噪聲的影響
????在圖6中，我們呈現(xiàn)了樣本圖像及其噪聲對(duì)應(yīng)物的平滑結(jié)果。可以看出，我們的兩個(gè)模型都成功地在噪聲下提取了結(jié)構(gòu)。干凈的結(jié)構(gòu)和清晰的噪聲圖像在視覺上非常相似。這種現(xiàn)象可歸功于公式8和10中基于塊的相似性度量對(duì)噪聲具有魯棒性。

圖6：所提出的模型在凈圖像及其噪聲對(duì)應(yīng)物上產(chǎn)生的平滑結(jié)果。我們的兩個(gè)模型都能在存在噪聲的情況下有效地恢復(fù)結(jié)構(gòu)信息。

計(jì)算成本
????在計(jì)算上，我們方法中最耗時(shí)的部分是自適應(yīng)權(quán)重的估計(jì)，其涉及提取區(qū)域協(xié)方差描述符并計(jì)算它們之間的距離。我們注意到，任意矩形區(qū)域的特征協(xié)方差矩陣可以在O（d^2）時(shí)間內(nèi)通過利用求和面積表有效地計(jì)算，也稱為積分圖像[Tuzelet al。 2006年]。
????我們當(dāng)前的Matlab實(shí)現(xiàn)沒有經(jīng)過大量?jī)?yōu)化，并且在具有8 GB RAM的3.40 GHz Intel Core i7-2600處理器上執(zhí)行。使用我們的模型1和模型2，313x296彩色圖像的單個(gè)尺度分解分別需要72和101秒。僅僅因?yàn)榉匠?中的矩陣求逆運(yùn)算，模型2的計(jì)算成本略高于模型1的計(jì)算成本。我們相信通過并行GPU實(shí)現(xiàn)或通過以下方式可以大大提高模型的運(yùn)行時(shí)間性能。使用一些巧妙的采樣和/或散列策略[Baek and Jacobs 2010; Dowson和Salvado 2011]。

4 對(duì)照
????在我們的實(shí)驗(yàn)中，我們將我們的方法與一些最先進(jìn)的邊緣保持平滑方法進(jìn)行了比較[Rudin et al。 1992年; Tomasi和Manduchi 1998年; Farbman等。 2008; Subr等。 2009; Buades等。 2010;徐等人。 2011;徐等人。 2012]。模型的評(píng)價(jià)是基于良好的方法應(yīng)該僅平滑細(xì)節(jié)和紋理并保持結(jié)構(gòu)，并且提取的紋理或所謂的細(xì)節(jié)分量應(yīng)該沒有關(guān)于結(jié)構(gòu)的任何信息來定性地進(jìn)行。
????在圖7中，我們提供了圖2中引入的Barbara圖像的平滑結(jié)果，以及包含不同紋理的圖像區(qū)域的相應(yīng)細(xì)節(jié)部分。對(duì)于所有測(cè)試方法，我們對(duì)其參數(shù)進(jìn)行了微調(diào)。正如預(yù)期的那樣，特別適合于紋理平滑的模型，即[Subr et al。 2009年; Buades等。 2010; Xu et al.2012]，給出了令人滿意的工廠成果。然而，與我們的方法相比，[Subr等人的方法]。 2009年;徐等人。在平滑期間，似乎會(huì)降低主要結(jié)構(gòu)，因?yàn)橐恍┙Y(jié)構(gòu)在細(xì)節(jié)組件中清晰可見。 [Buades等人的模型]。 2010]相對(duì)較好地捕捉細(xì)節(jié)和紋理組件，但其結(jié)構(gòu)組件仍包括一些紋理（特別是在桌布和草椅上）。至于我們的模型，模型2比模型1產(chǎn)生更好的結(jié)構(gòu) - 紋理分解。從圖8中給出的特寫視圖可以看出，我們的兩個(gè)模型都保留陰影，非常好地捕獲紋理邊界，并且不會(huì)受到桌布上任何階梯狀邊緣的影響。此外，大多數(shù)其他模型在其紋理/細(xì)節(jié)層中產(chǎn)生一些偽彩。該層中的滲色表明相應(yīng)的平滑方法不能很好地保持結(jié)構(gòu)并且不斷地使顏色信息惡化。圖9中提供了馬賽克圖像的另一種比較。

圖9：吉普賽女孩馬賽克圖像的平滑效果。

5 應(yīng)用
????許多圖像編輯和操作任務(wù)可以從紋理中提取良好的結(jié)構(gòu)提取中受益。在下文中，我們將展示這些應(yīng)用程序，這些應(yīng)用程序?qū)⑼怀鑫覀兎椒ǖ挠行浴?/p>

5.1 圖像抽象
????雖然紋理豐富了我們的視覺世界并使物體更加豐富和逼真，但它們通常被認(rèn)為是圖像中不可繪制的部分[Marr 1982]。因此，消除紋理而不降低分級(jí)結(jié)構(gòu)可能有助于簡(jiǎn)化圖像并提供非逼真的外觀。在圖10中，我們提出了一些圖像抽象結(jié)果，這些結(jié)果是由[Winnemoller等人提出的圖像抽象方案獲得的。我們用我們的結(jié)構(gòu)保持平滑方法替換了雙向?yàn)V波。在這些例子中，與模型2相比，使用模型1導(dǎo)致更像卡通的結(jié)果。

圖10：圖像抽象結(jié)果。我們的模型有效地從結(jié)構(gòu)中去除紋理，并且提取的結(jié)構(gòu)可用于獲得場(chǎng)景的非真實(shí)感渲染。

5.2 紋理和細(xì)節(jié)增強(qiáng)
????我們可以通過考慮不同尺度的結(jié)構(gòu)和紋理將圖像分解成多個(gè)層。這種分解使我們能夠增強(qiáng)和增強(qiáng)其紋理和精細(xì)細(xì)節(jié)或粗細(xì)節(jié)，如圖11所示。輸入圖像包含一個(gè)活雕像，我們?cè)鰪?qiáng)或減少了面部皮膚和皺褶衣服的細(xì)節(jié)。對(duì)于我們所有的模型，提升精細(xì)特性有效地增強(qiáng)了圖像中的細(xì)節(jié)，而不會(huì)模糊邊緣，因?yàn)樗鼈兂晒Φ貜膱D像中捕獲低頻結(jié)構(gòu)組件。因此，新圖像具有高對(duì)比度和細(xì)節(jié)紋理，因此紋理增強(qiáng)使得輸入圖像對(duì)于使用我們的平滑方法獲得的不同比例紋理更具吸引力。類似地，當(dāng)我們?cè)鰪?qiáng)粗糙特征時(shí)，相應(yīng)地消除紋理和精細(xì)細(xì)節(jié)，并且僅在所得圖像中保持可見的突出結(jié)構(gòu)。

圖11：紋理和細(xì)節(jié)增強(qiáng)結(jié)果（左：模型1，右：模型2，來自柯達(dá)PhotoCD，照片采樣器的Stephen Wolf的輸入圖像）。

5.3 圖像分解
????繪畫，馬賽克，紡織品的圖像包含不同類型的文字。將這樣的圖像直接組合成另一個(gè)圖像可能給出視覺上不可信的結(jié)果，因?yàn)榧y理信息與結(jié)構(gòu)信息一起被傳送。我們的結(jié)構(gòu) - 紋理組合方法可以通過在輸入圖像之一的結(jié)構(gòu)層上執(zhí)行圖像合成來幫助獲得視覺上更合理的結(jié)果。在圖12中，我們提出了這樣一個(gè)例子，其中一個(gè)輸入是紙張圖像而另一個(gè)輸入是針織圖案。從圖中可以看出，當(dāng)通過考慮圖案圖像的結(jié)構(gòu)層（模型1結(jié)果）來執(zhí)行合成時(shí)，由于遺漏了紋理層中的細(xì)節(jié)，因此合成圖像具有更自然的外觀。

圖12：圖像合成結(jié)果。頂行：輸入圖像及其提取的結(jié)構(gòu)組件。底行：使用原始圖像和結(jié)構(gòu)圖像獲得的組合圖像（源圖像c Sew Technicolor，目標(biāo)圖像 ? designshard）。

5.4 反半色調(diào)
????我們?cè)趻呙璧牟噬嬌蠄?zhí)行了我們的圖像平滑模型，以再現(xiàn)半色調(diào)的連續(xù)色調(diào)。圖13給出了一些結(jié)果，我們將結(jié)果與最近提出的漫畫的反半色調(diào)方法進(jìn)行了比較[Kopf和Lischinski 2012]。我們的重建很少有人工制品，細(xì)節(jié)大部分保存完好。此外，我們還展示了使用沖擊濾波器對(duì)平滑結(jié)果進(jìn)行后處理所獲得的結(jié)果[Gilboa et al。 2002]增強(qiáng)邊緣。盡管我們的方法沒有像[Kopf和Lischinski 2012]那樣明確地檢測(cè)點(diǎn)圖案和黑色墨水，但它提供了視覺上可信的結(jié)果。

圖13：反半色調(diào)結(jié)果。來自鋼鐵俠的作物（輸入圖像c漫威漫畫）

5.5 縫雕刻
????[Avidan and Shamir 2007]中介紹的Seam Carving方法通過考慮其內(nèi)容來調(diào)整給定圖像的大小。相關(guān)的調(diào)整大小過程使用基于梯度的能量函數(shù)，該函數(shù)針對(duì)每個(gè)像素進(jìn)行計(jì)算。然而，自然場(chǎng)景不僅在圖像邊緣而且在紋理圖像區(qū)域上具有高梯度值。因此，接縫雕刻方法可能提供不令人滿意的工廠結(jié)果，因?yàn)樗Ａ袅税T如波浪，巖石，石頭等細(xì)節(jié)的紋理區(qū)域。草等，即使它們是背景的一部分，也不如前景物體突出。
????圖14顯示了RetargetMe數(shù)據(jù)集[Ru賓斯坦等人。 2010]。在這張海灘照片中存在的海浪和巖石具有高梯度值，因此使得Seam Carving幾乎完全保留這些區(qū)域在調(diào)整大小的輸出圖像中。另一方面，如果我們估計(jì)的是原始圖像上的能量函數(shù)，而不是我們的模型1提取的結(jié)構(gòu)成分，那么得到的調(diào)整大小的圖像在視覺上變得更加愉悅。在這種情況下，該方法不再保留紋理部分，更多地從它們中選擇接縫，并因此使視覺上重要的結(jié)構(gòu)保留在最終結(jié)果中。

圖14：Seam Carving結(jié)果。左欄：原始模型。右欄：由我們的結(jié)構(gòu) - 紋理分解方法修改的模型。行從上到下：由Eric Chan從RetargetMe數(shù)據(jù)集輸入圖像，消除接縫和調(diào)整大小的輸出圖像。

6 討論
????我們提出了使用區(qū)域協(xié)方差來保持圖像平滑的結(jié)構(gòu)的想法。我們的方法采用一階和二階特征統(tǒng)計(jì)來獲得局部圖像塊的隱式嵌入，這允許我們?cè)趩蝹€(gè)表示內(nèi)描述和區(qū)分局部結(jié)構(gòu)和紋理。我們已經(jīng)證明，使用這樣的統(tǒng)計(jì)測(cè)量提供了比先前工作更好的結(jié)構(gòu)/紋理分離，并且改善了許多圖像編輯和操縱應(yīng)用的結(jié)果。
????我們的方法的一個(gè)缺點(diǎn)是，當(dāng)在外觀和比例方面附近存在統(tǒng)計(jì)上相似的結(jié)構(gòu)時(shí)，它有時(shí)可能將一些圖像結(jié)構(gòu)誤解為紋理。圖15示出了由于字符的重復(fù)性而使符號(hào)中的文本平滑的示例。我們認(rèn)為采用更復(fù)雜的功能可能有助于緩解這一問題。

圖15：失敗示例。我們的方法錯(cuò)誤地將符號(hào)中的文本解釋為紋理，因?yàn)榻巧谕庥^和重復(fù)行為方面具有相似的特征。
????需要進(jìn)一步調(diào)查的一個(gè)重要問題是擴(kuò)展多尺度分析的方法。我們當(dāng)前的擴(kuò)展以迭代方式運(yùn)行，通過增加補(bǔ)丁大小來平滑輸入圖像，并在實(shí)踐中給出了良好的結(jié)果。未來工作的一個(gè)有趣方向是利用區(qū)域協(xié)方差描述符的全部潛力，其大小完全取決于關(guān)于功能的數(shù)量而不是該地區(qū)的大小。這開啟了統(tǒng)一的多尺度公式的可能性，其中在不同尺度上同時(shí)進(jìn)行平滑，如[Zontak等人。 2013。這可以帶來進(jìn)一步的改進(jìn)。

總結(jié)

以上是生活随笔為你收集整理的基于区域协方差的结构保持图像平滑的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。