相關(guān)方法

單階段、多階段、注意力

方法

將圖像分割為不重疊的patches：四個用于第一階段，兩個用于第二階段，原始圖像用于最后一階段。殘差學(xué)習(xí)：$X_S=I+R_S$，損失函數(shù)為$$\mathcal{L}=\sum _{S=1}^3\left[{\mathcal{L}}_{char}\left({\mathbf{X}}_S,\mathbf{Y}\right)+\lambda {\mathcal{L}}_{edge}\left({\mathbf{X}}_S,\mathbf{Y}\right)\right]$$

編碼-解碼子網(wǎng)絡(luò)：首先，我們添加通道注意塊(CAB)以提取每個尺度的特征。其次，U-Net Skip連接處的特征圖也會通過CAB進(jìn)行處理。最后，我們沒有使用轉(zhuǎn)置卷積來提高解碼器中特征的空間分辨率，而是在卷積層之后使用雙線性上采樣。這有助于減少輸出圖像中因轉(zhuǎn)置卷積而產(chǎn)生的棋盤效應(yīng)。

CAB結(jié)構(gòu)如下：
在最后一階段引入了原始分辨率子網(wǎng)絡(luò)(ORSNet)。ORSNet不采用任何下采樣操作，并生成空間豐富的高分辨率特征。它由多個原始分辨率塊(ORB)組成，每個原始分辨率塊還包含CAB。ORB的結(jié)構(gòu)如下：
交叉階段的特征融合：我們在兩個編碼器-解碼器之間以及編碼器-解碼器和ORSNet之間引入了CSFF模塊。請注意，一個階段的特征首先用1×1卷積進(jìn)行細(xì)化，然后再傳播到下一階段進(jìn)行聚合。CSFF有幾個優(yōu)點(diǎn)。首先，由于在編碼器-解碼器中重復(fù)使用上下采樣操作，使得網(wǎng)絡(luò)不易受到信息丟失的影響。第二，一個階段的多尺度特征有助于豐富下一階段的特征。第三，網(wǎng)絡(luò)優(yōu)化過程變得更加穩(wěn)定，因?yàn)樗喕诵畔⒘?#xff0c;從而允許我們在總體架構(gòu)中添加幾個階段。
在每兩個階段之間引入一個監(jiān)督注意力模塊，這有助于實(shí)現(xiàn)顯著的性能提升。首先，它提供了對每個階段的漸進(jìn)式圖像恢復(fù)有用的地面真實(shí)監(jiān)控信號。其次，在局部監(jiān)督預(yù)測的幫助下，我們生成注意力圖來抑制當(dāng)前階段信息量較小的特征，只允許有用的特征傳播到下一階段。
SAM接受早期階段的特征$F_{in}\in R^{H\times W\times C}$，首先使用一個簡單的1×1卷積生成殘差圖像$R_S\in R^{H\times W\times 3}$。將殘差圖像添加到降級的輸入圖像$I$以獲得恢復(fù)的圖像$X_S\in R^{H\times W\times 3}$。對于這個預(yù)測圖像$X_S$，我們用地面真實(shí)圖像(GT)提供明確的監(jiān)督。接下來，每(per)像素的注意力Masks $M\in R^{H\times W\times C}$由圖像$X_S$使用1×1卷積和Sigmoid激活生成。然后，這些Masks用于重新校準(zhǔn)變換后的局部特征$F_{in}$(在1×1卷積后獲得)，從而產(chǎn)生被添加到恒等映射路徑的注意力引導(dǎo)特征。最后，SAM生成的注意力增強(qiáng)特征表示$F_{out}$被傳遞到下一階段進(jìn)行進(jìn)一步處理。

實(shí)驗(yàn)設(shè)置

消融實(shí)驗(yàn)：

代碼

https://github.com/swz30/MPRNet

總結(jié)

以上是生活随笔為你收集整理的论文笔记：MPRNet: Multi-Stage Progressive Image Restoration的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。