論文鏈接：https://web.eecs.umich.edu/~justincj/papers/eccv16/JohnsonECCV16.pdf

Perceptual Losses for Real-Time Style Transfer and Super-Resolution

• • 摘要
  • 1 引言
  • 2 相關工作
  • • • 前饋式圖像變換
      • 感知優化
      • 風格轉移
      • 圖像超分辨率
  • 3 方法
  • • 3.1 圖像變換網絡
    • • 輸入和輸出
      • 下采樣和上采樣
      • 殘差連接
    • 3.2 感知損失函數
    • • 特征重建損失
      • 風格重構損失
    • 3.3 簡單損失函數
    • • 像素損失
      • 總變化正則化
  • 4 實驗
  • • 4.1 風格轉換
    • • 基線
      • 訓練細節
      • 定性結果
      • 定量結果
      • 速度
    • 4.2 單圖像超分辨率
    • • 模型細節
      • 基線
      • 評估
  • 5 結語

摘要

本文考慮的是圖像轉換問題，即把輸入圖像轉換為輸出圖像。最近針對這類問題的方法通常是利用輸出圖像和真實圖像之間的單個像素損失來訓練前饋卷積神經網絡。通過定義和優化基于從預訓練網絡中提取的高級特征的感知損失函數，可以生成高質量的圖像。我們結合了這兩種方法的優點，并提出使用感知損失函數來訓練圖像轉換任務的前饋網絡。我們展示了在圖像風格轉換上的結果，其中訓練前饋網絡來實時解決Gatys等人提出的優化問題。與基于優化的方法相比，我們的網絡給出了類似的定性結果，但速度快了三個數量級。我們還對單幅圖像的超分辨率進行了實驗，用感知損失代替單個像素損失，得到了視覺上令人滿意的結果。

1 引言

許多經典的問題都可以被定義為圖像變換任務，即系統接收一些輸入圖像并將其變換為輸出圖像。圖像處理的例子包括去噪、超分辨率和著色，其中輸入的是劣質圖像（噪聲、低分辨率或灰度），而輸出的是高質量的彩色圖像。計算機視覺的例子包括語義分割和深度估計，其中輸入是彩色圖像，輸出圖像編碼有關場景的語義或幾何信息。解決圖像轉換任務的一種方法是以監督的方式訓練前饋卷積神經網絡，使用單個像素損失函數來測量輸出圖像和真實圖像之間的差異。這種方法已經被Dong等人用于超分辨率[1]，Cheng等人用于著色[2，3]，Long等人用于分割[4]，Eigen等人用于深度和表面法線預測[5，6]。這類方法在測試時效率很高，只需要對訓練好的網絡進行正向傳遞。

然而，這些方法使用的單個像素損失并沒有捕捉到輸出和真實圖像之間的感知差異。例如，考慮兩個相同的圖像相互偏移一個像素，盡管它們的感知相似，但通過每像素損失測量，它們將非常不同。同時，最近的工作表明，可以使用感知損失函數生成高質量的圖像，而不是基于像素之間的差異，而是基于從預先訓練的卷積神經網絡中提取的高級圖像特征表示之間的差異。通過最小化一個損失函數來生成圖像。這種策略已經被Mahendran等人應用于特征反演[7]，Simonyan等人[8]和Yosinski等人[9]應用于特征可視化，Gatys等人[10-12]應用于紋理合成和風格轉移。這些方法可以產生高質量的圖像，但是速度很慢，因為推理需要解決一個優化問題。

在本文中，我們結合了這兩種方法的優點，為圖像變換任務訓練前饋變換網絡，但不是使用僅依賴于低級像素信息的每像素損失函數，而是使用依賴于來自預訓練損失網絡的高級特征的感知損失函數來訓練我們的網絡。在訓練過程中，感知損失比每像素損失更穩健地測量圖像相似性，在測試時，轉換網絡實時運行。我們在兩個任務上進行實驗：風格轉移和單幅圖像超分辨率。

這兩個任務都存在固有的問題；對于風格轉移，沒有一個正確的輸出，而對于超分辨率，有許多高分辨率的圖像可能產生相同的低分辨率輸入。任何一項任務的成功都需要對輸入圖像進行語義推理。對于風格轉移來說，盡管顏色和紋理發生了巨大的變化，但輸出必須在語義上與輸入相似；對于超分辨率來說，必須從視覺上模糊的低分辨率輸入中推斷出精細的細節。原則上，為這兩種任務訓練的高容量神經網絡可以隱性地學習推理相關語義；然而，在實踐中，我們不需要從頭開始學習：使用感知損失函數可以將語義知識從損失網絡轉移到轉換網絡。對于風格轉移，我們的前饋網絡被訓練成解決[11]中的優化問題；我們的結果無論是在質量上還是通過目標函數值來衡量，都與[11]相似，但生成速度要快三個數量級。對于超分辨率，我們表明，用感知損失代替每像素損失，對于×4和×8超分辨率，可以得到視覺上令人滿意的結果。

2 相關工作

前饋式圖像變換

近年來，各種各樣的圖像變換任務都是用單個像素損失函數進行訓練的。語義分割方法[4，6，14-17]通過在輸入圖像上以完全卷積的方式運行網絡，用單個像素分類損失進行訓練，產生密集的場景標簽。最近的深度[6，5，18]和表面法線估計[6，19]方法與此類似，使用以每像素回歸[5，6]或分類[19]損失訓練的前饋卷積網絡，將彩色輸入圖像轉化為有幾何意義的輸出圖像。一些方法通過懲罰圖像梯度[6]，將CRF推理構架為與網絡其他部分聯合訓練的循環層[17]，或使用CRF損失層[18]來強制輸出的局部一致性，從而超越了單個像素損失。我們的變換網絡的架構受到[4]和[16]的啟發，它們使用下采樣來減少特征圖的空間范圍，然后再進行上采樣來產生最終的輸出圖像。

感知優化

最近的一些論文已經使用優化來生成目標是感知的圖像，取決于從卷積網絡中提取的高級特征。可以生成圖像以最大化類預測分數[8，9]或單個特征[9]，以了解訓練網絡中編碼的函數。類似的優化技術也可以用來生成高置信度的圖像[20，21]。Mahendran和Vedaldi[7]通過最小化特征重構損失來反轉卷積網絡中的特征，以便理解不同網絡層保留的圖像信息；類似的方法之前已經被用于反轉局部二進制描述符[22，23]和HOG特征[24]。Dosovitskiy和Brox[25]的工作與我們的工作特別相關，他們訓練了一個前饋神經網絡來反演卷積特征，快速地近似解決了[7]提出的優化問題。然而，他們的前饋網絡是在每像素重構損失的情況下訓練的，而我們的網絡直接優化了[7]的特征重構損失。

風格轉移

Gatys等人[11]進行了藝術風格轉移，通過共同最小化[7]的特征重構損失和同樣基于從預訓練的卷積網絡中提取的特征的風格重構損失，將一幅圖像的內容與另一幅圖像的風格結合起來；類似的方法之前已經用于紋理合成[10]。他們的方法產生了高質量的結果，但計算成本很高，因為優化問題的每一步都需要向前和向后通過預訓練網絡。為了克服這個計算負擔，我們訓練了一個前饋網絡來快速逼近他們優化問題的解。與我們的工作同步，[26，27]也提出了快速風格轉移的前饋方法。

圖像超分辨率

圖像超分辨率是一個經典的問題，針對這個問題已經開發了多種技術。Yang等人[28]對卷積神經網絡被廣泛采用之前的主流技術進行了詳盡的評估。他們將超分辨率技術歸納為基于預測的方法（雙線性、雙立方、Lanczos、[29]）、基于邊緣的方法[30，31]、統計方法[32-34]、基于補丁的方法[30，35-41]和稀疏字典方法[42，43]。最近[1]使用具有每像素歐氏損失的三層卷積神經網絡在單幅圖像超分辨率上取得了優異的性能。其他最近的方法包括[44-46]。

3 方法

如圖2所示，我們的系統由兩部分組成：一個圖像變換網絡fW和一個損失網絡φ，用于定義幾個損失函數1…k. 圖像變換網絡是一個深度殘差卷積神經網絡，其參數化的權重為W；它通過映射?y=fW（x）將輸入圖像x變換成輸出圖像?y。每個損失函數計算一個標量值`i(?y, yi)，衡量輸出圖像?y與目標圖像yi之間的差異。使用隨機梯度下降法訓練圖像變換網絡，使損失函數的加權組合最小化。

為了解決每個像素損失的缺點，并讓我們的損失函數更好地衡量圖像之間的感知和語義差異，我們從最近通過優化生成圖像的工作中獲得靈感[7-11]。這些方法的關鍵見解是，為圖像分類而預先訓練的卷積神經網絡已經學會了編碼我們希望在損失函數中測量的感知和語義信息。因此，我們利用一個為圖像分類而預訓練的網絡φ作為固定的損失網絡來定義我們的損失函數。因此，我們的深度卷積變換網絡是使用同樣是深度卷積網絡的損失函數來訓練的。我們使用損失網絡φ來定義特征重構損失φ f eat和風格重構損失φ style，以衡量圖像之間內容和風格的差異。

對于每個輸入圖像x，我們有一個內容目標yc和一個風格目標ys。對于風格轉移，內容目標yc是輸入圖像x，輸出圖像?y應該將x=yc的內容與ys的風格結合起來，我們對每個風格目標訓練一個網絡。對于超分辨率，輸入x為低分辨率輸入，內容目標yc為真實高分辨率圖像，不使用風格重構損失；我們每個超分辨率因子訓練一個網絡。

3.1 圖像變換網絡

圖像變換網絡大致遵循[47]提出的架構準則。我們摒棄了池化層，而是使用分步和分數分步卷積進行網絡內下采樣和上采樣。我們的網絡主體由五個殘差塊[48]組成，使用[49]的架構。所有的非殘差卷積層除了輸出層外，都進行了批量歸一化[50]和ReLU非線性，而是使用了一個縮放的tanh來確保輸出的像素在[0，255]范圍內。第一層和最后一層使用9×9內核，其他卷積層都使用3×3內核。我們網絡的確切架構可以在補充材料1中找到。

輸入和輸出

對于風格轉移，輸入和輸出是形狀為3×256×256的彩色圖像。對于上采樣因子f的超分辨率，輸出是形狀為3×288×288的高分辨率補丁，輸入是形狀為3×288/f×288/f的低分辨率補丁。由于圖像變換網絡是全卷積的，所以在測試時可以應用于任何分辨率的圖像。

下采樣和上采樣

對于上采樣系數為f的超分辨率，我們使用幾個殘差塊，然后是log2 f卷積層，步幅為1/2。這與[1]使用雙立方插值對低分辨率輸入進行上采樣后再傳遞給網絡的做法不同。分步卷積不是依賴于固定的上采樣函數，而是允許上采樣函數與網絡的其他部分共同學習。對于風格轉移，我們的網絡使用兩個stride-2卷積對輸入進行下采樣，然后是幾個殘差塊，再使用兩個stride 1/2的卷積層進行上采樣。雖然輸入和輸出的大小相同，但先下采樣再上采樣的網絡有幾個好處。

首先是計算上的問題。在天真實現的情況下，在一個尺寸為C×H×W的輸入上用C濾波器進行3×3卷積，需要9HW C2乘加，這與在一個形狀為DC×H/D×W/D的輸入上用DC濾波器進行3×3卷積的成本相同。因此，降采樣后，我們可以用同樣的計算成本使用更大的網絡。

第二個好處與有效的接受場大小有關。高質量的風格傳輸需要以連貫的方式改變圖像的大部分；因此，輸出中的每個像素在輸入中具有較大的有效接受場是有利的。在不進行降采樣的情況下，每增加一個3×3卷積，有效接受場大小就增加2個，而在降采樣D因子后，每個3×3卷積反而增加了2D的有效接受場大小，在相同層數的情況下，可以得到更大的有效接受場。

殘差連接

He等人[48]使用殘差連接來訓練圖像分類的極深網絡。他們認為，殘差連接使身份函數更容易學習；這對于圖像變換網絡來說是一個很有吸引力的屬性，因為在大多數情況下，輸出圖像應該與輸入圖像共享結構。因此，我們的網絡主體由多個殘差塊組成，每個殘差塊包含兩個3×3卷積層。我們采用[49]的殘差塊設計，見補充材料。

3.2 感知損失函數

本文定義了兩個感知損失函數，用來衡量圖像之間的高級感知和語義差異。它們利用損失網絡φ進行圖像分類的預訓練，這意味著這些感知損失函數本身就是深度卷積神經網絡。在我們所有的實驗中，損失網絡φ是在ImageNet[52]上預訓練的16層VGG網絡[51]。

特征重建損失

我們不是鼓勵輸出圖像?y = fW (x)的像素與目標圖像y的像素完全匹配，而是鼓勵它們具有類似損失網絡φ計算的特征表示。讓φj（x）成為網絡φ的第j層在處理圖像x時的激活；如果j是卷積層，那么φj（x）將是一個形狀為Cj×Hj×Wj的特征圖。特征重建損失是特征表示之間的（平方，歸一化）歐幾里得距離。

正如[7]中所展示的，并在圖3中重現的那樣，對于早期層來說，找到一個最小化特征重建損失的圖像?y，往往會產生與y在視覺上無法區分的圖像。當我們從更高的層中重建時，圖像內容和整體空間結構被保存下來，但顏色、紋理和精確形狀卻沒有被保存下來。使用特征重構損失來訓練我們的圖像變換網絡，鼓勵輸出圖像?y在感知上與目標圖像y相似，但并不強迫它們完全匹配。

風格重構損失

當輸出圖像?y在內容上偏離目標y時，特征重構損失會對其進行懲罰，我們也希望對風格上的差異進行懲罰：顏色、紋理、常見圖案等。為了達到這個效果，Gatys等人[10，11]提出了以下風格重建損失。如上所述，讓φj (x)為輸入x在網絡φ第j層的激活，它是一個形狀為Cj×Hj×Wj的特征圖。定義Gram矩陣G φj (x)為Cj×Cj矩陣，其元素由下列公式給出：

如果我們將φj（x）解釋為給出Hj×Wj網格上每個點的Cj-維特征，那么G φj（x）與Cj-維特征的非中心協方差成正比，將每個網格位置視為一個獨立樣本。因此，它捕捉了關于哪些特征傾向于一起激活的信息。通過將φj (x)重塑為形狀為Cj×HjWj的矩陣ψ，可以有效地計算Gram矩陣；然后G φ j (x) =ψψT /CjHjWj 。

風格重建損失就是輸出圖像和目標圖像的Gram矩陣之間差值的Frobenius法則的平方。

即使?y和y的大小不同，風格重構損失也是很好定義的，因為它們的Gram矩陣將具有相同的形狀。正如[11]中所展示的，并在圖5中重現，生成一個最小化風格重建損失的圖像?y，保留了目標圖像的風格特征，但沒有保留其空間結構。從更高的層中進行重建，會轉移目標圖像中更大尺度的結構。

為了從一組圖層j而不是單個圖層j進行風格重建，我們定義`φ,J style(?y,y)為每個圖層j∈J的損失之和。

3.3 簡單損失函數

除了上面定義的感知損失外，我們還定義了兩個簡單的損失函數，它們只依賴于低級像素信息。

像素損失

像素損失是輸出圖像?y和目標y之間的（歸一化）歐氏距離，如果兩者的形狀都是C×H×W，那么像素損失定義為pixel(?y, y) = ky? - yk 2 2/CHW。這只有當我們有一個網絡預期匹配的地真目標y時才能使用。

總變化正則化

為了鼓勵輸出圖像?y的空間平滑性，我們遵循之前在特征反演[7，22]和超分辨率[53，54]方面的工作，并利用總變異正則化T V（?y）。

4 實驗

我們對兩個圖像變換任務進行實驗：風格轉移和單圖像超分辨率。之前關于風格轉移的工作使用優化來生成圖像；我們的前饋網絡給出了類似的定性結果，但速度快達三個數量級。之前使用卷積神經網絡進行的單圖像超分辨率工作使用的是每像素損失；我們使用感知損失來代替，顯示出令人鼓舞的定性結果。

4.1 風格轉換

風格轉換的目標是生成一個結合目標內容圖像yc的內容和目標風格圖像ys的風格的圖像?y。我們為每個風格目標訓練一個圖像轉換網絡，用于訓練幾個精心挑選的風格目標，并將我們的結果與Gatys等人[11]的基線方法進行比較。

基線

作為基線，我們重新實現了Gatys等人[11]的方法。給定風格和內容目標ys和yc，以及執行特征和風格重建的圖層j和j，通過求解問題生成圖像?y。

其中λc、λs和λT V為標量，y用白噪聲初始化，使用L-BFGS進行優化。方程5的無約束優化往往會導致圖像的像素超出[0，255]范圍。為了與我們的方法進行更公平的比較，我們的方法的輸出被約束在這個范圍內，對于基線，我們通過在每次迭代時將圖像y剪裁到[0，255]的范圍內，使用投影的L-BFGS來最小化等式5。優化通常在500次迭代內收斂到滿意的結果。這種方法速度很慢，因為每次迭代都需要通過VGG-16損失網絡φ的正向和反向傳遞。

訓練細節

我們在MS-COCO數據集上訓練風格轉移網絡[55]。我們將80k張訓練圖像中的每張圖像調整為256×256，并以4個批次大小進行40k次迭代訓練，在訓練數據上給出了大約兩個時代。我們使用Adam[56]，學習率為1×10-3 。輸出圖像采用總變異正則化，強度在1×10-6和1×10-4之間，通過每個風格目標的交叉驗證選擇。我們不使用權重衰減或輟學，因為該模型不會在兩個時代內過度擬合。對于所有風格轉移實驗，我們計算VGG-16損失網絡φ的層relu3_3的特征重建損失和層relu1_2、relu2_2、relu3_3和relu4_3的風格重建損失。我們的實現使用Torch[57]和cuDNN[58]；在單個GTX Titan X GPU上訓練大約需要4個小時。

定性結果

在圖6中，我們展示了定性的例子，將我們的結果與各種風格和內容圖像的基線進行比較。在所有情況下，兩種方法之間的超參數λc、λs和λT V完全相同；所有內容圖像都來自MS-COCO 2014驗證集。雖然我們的模型是用256×256的圖像進行訓練的，但它們可以在測試時以完全卷積的方式應用于任何尺寸的圖像。在圖7中，我們展示了在512×512圖像上使用我們的模型進行風格轉移的例子?？偟膩碚f，我們的結果與基線在質量上是相似的，但在某些情況下，我們的方法會產生具有更多重復模式的圖像。例如在圖6中的星夜圖像中，我們的方法產生了重復的（但不完全相同的）黃色斑點；如圖7所示，在更高的分辨率下，這種效果會變得更加明顯。

定量結果

基線和我們的方法都使等式5最小化。基線在輸出圖像上執行顯式優化，而我們的方法則被訓練成在單次正向傳遞中找到任何內容圖像yc的解。因此，我們可以通過測量這兩種方法成功最小化等式5的程度來定量比較這兩種方法。我們在MS-COCO驗證集的50張圖像上運行我們的方法和基線，使用The Muse作為風格圖像。對于基線，我們在每次迭代優化時記錄目標函數的值，對于我們的方法，我們記錄每張圖像的等式5的值；當y等于內容圖像yc時，我們也計算等式5的值。結果如圖5所示。內容圖像yc實現了非常高的損失，我們的方法實現的損失與50到100次迭代的顯式優化相當。雖然我們的網絡被訓練成針對256×256圖像最小化等式5，但當應用于更大的圖像時，它們也成功地最小化了目標。我們對512×512和1024×1024的50幅圖像重復同樣的定量評估；結果如圖5所示。即使在更高的分辨率下，我們的模型也實現了與基線方法50到100次迭代相當的損失。

速度

表1比較了我們的方法和基線方法在幾種圖像尺寸下的運行時間；對于基線方法，我們報告了不同優化迭代次數的時間。在所有尺寸的圖像中，我們的方法所花費的時間大約是基線方法單次迭代時間的一半。與基線方法的500次迭代相比，我們的方法要快三個數量級。我們的方法以20 FPS的速度處理512×512的圖像，使得它可以在實時或視頻中運行。

4.2 單圖像超分辨率

在單圖像超解像中，任務是由低分辨率輸入生成高分辨率的輸出圖像。這是一個固有的問題，因為對于每一個低分辨率的圖像，都存在多個高分辨率的圖像可以生成它。隨著超分辨率因子的增長，模糊性變得更加極端；對于大的因子（×4，×8），高分辨率圖像的細微細節可能在其低分辨率版本中很少或沒有證據。

為了克服這個問題，我們在訓練超分辨率網絡時，不使用通常使用的每像素損失[1]，而是使用特征重建損失（見第3節），以允許將語義知識從預訓練的損失網絡轉移到超分辨率網絡中。我們專注于×4和×8超分辨率，因為更大的因子需要對輸入進行更多的語義推理。

用于評估超分辨率的傳統指標是PSNR和SSIM[59]，這兩個指標被發現與人類對視覺質量的評估相關性很差[60-62]。PSNR和SSIM依賴于像素之間的低級差異，PSNR是在加性高斯噪聲的假設下運行的。此外，PSNR等同于每像素損失pixel，因此由PSNR衡量，一個訓練成最小化每像素損失的模型應該總是優于一個訓練成最小化特征重建損失的模型。因此，我們強調，這些實驗的目標不是為了實現最先進的PSNR或SSIM結果，而是為了展示用每像素損失和特征重建損失訓練的模型之間的質的差異。

模型細節

我們通過最小化VGG-16損失網絡φ在層relu2_2的特征重建損失來訓練模型，以執行×4和×8超分辨率。我們使用來自MS-COCO訓練集的10k張圖像的288×288個補丁進行訓練，并通過寬度σ=1.0的高斯核模糊和雙立方插值下采樣來準備低分辨率輸入。我們使用Adam[56]進行批量大小為4的200k次迭代訓練，學習率為1×10-3，沒有權重衰減或掉隊。作為后處理步驟，我們在網絡輸出和低分辨率輸入之間進行直方圖匹配。

基線

作為基線模型，我們使用SRCNN[1]，因為它具有最先進的性能。SRCNN是一個三層卷積網絡，經過訓練，可以在ILSVRC 2013檢測數據集的33×33個補丁上最小化每像素損失。SRCNN沒有針對×8超分辨率進行訓練，因此我們只能在×4上對其進行評估。SRCNN的訓練超過109次迭代，這對我們的模型來說在計算上是不可行的。為了考慮SRCNN和我們的模型在數據、訓練和架構上的差異，我們使用pixel來訓練×4和×8超分辨率的圖像變換網絡；這些網絡使用的數據、架構和訓練與為最小化`f eat而訓練的網絡相同。

評估

我們在標準的Set5[65]、Set14[66]和BSD100[46]數據集上評估所有模型。我們報告了PSNR和SSIM[59]，按照[1，44]，在轉換為YCbCr顏色空間后，僅在Y通道上計算兩者。結果。我們在圖8中顯示了×4超分辨率的結果。與其他方法相比，我們為特征重建而訓練的模型在重建銳利邊緣和精細細節方面做得非常好，例如第一張圖像中的睫毛和第二張圖像中帽子的各個元素。除了圖 8 所示的自動化指標外，我們還在 Amazon Mechanical Turk 上運行了一項用戶研究，以評估我們在 BSD100 數據集上的 ×4 結果。在每個試驗中，工人們都會看到一個圖像的最近鄰上采樣和兩種方法的結果，并被要求選擇他們喜歡的結果。所有試驗都是隨機的，五個工人評估了每對圖像。在SRCNN和本文模型之間，大多數人在96%的圖像上首選特征模型。這項研究的更多細節可以在補充材料中找到。×8超分辨率的結果如圖9所示。我們再次看到，與其他模型相比，我們的模型在邊緣和精細細節方面做得很好，比如馬的腿和蹄子。與像素模型相比，模型銳化了馬和騎手的邊界邊緣，但背景樹仍然是漫不經心的，這說明模型可能更了解圖像語義。與基線方法相比，我們的模型的許多結果在像素級有網格狀偽影，損害了它們的PSNR和SSIM。在圖3中放大后可以看到類似的偽影，這說明它們是特征重建損失的結果，而不是圖像變換網絡的架構。圖3顯示了更明顯的失真，因為圖像是由更高級別的特征重建的，這促使我們使用relu2_2特征來訓練我們的超分辨率模型。由于我們的 "像素 "和 "特征 "模型共享相同的架構、數據和訓練過程，它們之間的所有差異都是由于 "像素 "和 "特征 "損失之間的差異。pixel損失給出了較少的視覺偽影和較高的PSNR值，但特征損失在重建精細細節方面做得更好，從而得到了令人滿意的視覺效果。

5 結語

本文通過訓練具有感知損失函數的前饋變換網絡，結合了前饋圖像變換任務和基于優化的圖像生成方法的優點。我們將這種方法應用于風格轉換，與現有方法相比，我們實現了相當的性能和大幅度提高的速度；應用于單幅圖像超分辨率，用知覺損失訓練可以使模型更好地重建細部和邊緣。在未來的工作中，我們希望探索感性損失函數在其他圖像轉換任務中的使用。

總結

以上是生活随笔為你收集整理的【图像超分辨率】Perceptual Losses for Real-Time Style Transfer and Super-Resolution的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。