引言

傳統的無監督領域自適應方法（UDA）除了需要大量的源域數據（Source Data）外，還需要足夠數量的無標注目標域樣本（Target Data）進行訓練，比如基于分布對齊、基于偽標簽提取和基于熵最小化的方法等均隸屬于此范疇。然而在實際場景中，除了數據標注費時費力，數據的采集本身也可能存在困難，比如因數據隱私保護、采集環境苛刻等造成的目標域數據稀缺。因此，即使能夠通過計算機生成無限量的虛擬數據，因為真實數據的稀缺，網絡也無法通過傳統的UDA方法進行正常訓練。針對這種目標數據稀缺的現實而具有挑戰性的問題，本文提出了一種新的解決方法。文章假設我們只搜集到了一張來自于目標域的珍貴樣本，僅僅通過對該樣本的充分挖掘，使模型能夠感知到潛在的目標域分布，達到“一葉落知天下秋”的效果。原論文發表于NeurIPS2020，標題為 《Adversarial Style Mining for One-Shot Unsupervised Domain Adaptation》，代碼已開源。論文第一作者羅亞威，博士畢業于華中科技大學計算機科學與技術學院，現任浙江大學計算機科學與技術學院博士后。

Paper：Adversarial Style Mining for One-shot Unsupervised Domain Adaptation

Code: RoyalVane/ASM

問題背景

圖1(a) 傳統的領域自適應方法在源域/目標域數據充足的情況下能達到好的效果，但在目標域數據稀缺（如只有單個樣本）的情況下效果不佳。

Unsupervised Domain Adaptation (UDA)

深度學習方法在計算機視覺的多個任務中都取得了令人滿意的成果。然而，訓練一個良好的神經網絡往往需要海量的人工標注數據。當前一個比較流行的思路是借助虛擬的合成數據進行模型訓練，比如利用3D游戲截圖等等。然而，由虛擬數據訓練出的網絡在真實數據上往往泛化能力不佳，而造成這一問題的主要原因被稱為域偏差（Domain Shift）。為了解決這一問題，研究者利用無監督領域自適應方法來緩解虛擬源域數據和真實目標域數據分布的差距，達到了比較好的效果，如圖1(a)左所示。

One-Shot Unsupervised Domain Adaptation (OSUDA)

傳統的無監督領域自適應方法除了需要大量的源域數據外，還需要足夠數量的無標注目標域樣本進行訓練，比如基于分布對齊、基于偽標簽提取和基于熵最小化的方法等均隸屬于此范疇。然而在實際場景中，除了數據標注費時費力，數據的采集本身也可能存在困難，比如因數據隱私保護、采集環境苛刻等造成的目標域數據稀缺。因此，即使能夠通過計算機生成無限量的虛擬數據，因為真實數據的稀缺，網絡也無法通過傳統的UDA方法進行正常訓練，如圖1(a)右所示。

針對這種目標數據稀缺的現實問題，本文提出了一種新的解決方法。文章假設我們只搜集到了一張來自于目標域的珍貴樣本，僅僅通過對該樣本的充分挖掘，使模型能夠感知到潛在的目標域分布，達到“一葉落知天下秋”的效果。

解決思路

圖1(b) ASM由風格生成網絡G和任務網絡M組成。G通過采樣，將one-shot目標域樣本xt附近的風格賦予源域圖片集合{Xs}，并在根據M的反饋在每次迭代中生成更多更難的潛在目標域風格，而M則需要正確處理新生成的圖片，并將訓練損失反饋給G。顯然，兩者形成了一個對抗的過程。

Domain Adaptive Semantic Segmentation問題假設源域和目標域具有相似的語義內容，但圖片風格不同。傳統基于風格遷移的Domain Adaptation方法將源域圖片轉化到目標域圖片的風格分布上進行訓練，以此降低domain gap。然而，在只有一張目標域圖片的情況下，如果直接按照風格遷移的思路，所有的源域圖片均會遷移到同一個單調的風格上，造成過擬合。因此，這里我們將OSUDA的問題轉化為了風格搜索問題，即如何從一個“孤點”風格搜索出更多潛在的目標域風格，形成“風格分布”，從而讓領域自適應變得可行。

到目前為止，One-shot setting下最大的難題還是沒有得到解決。因為只有一張圖片，潛在的目標域風格分布是完全未知的。那么如何有效地搜索呢？我們的思路是這樣的。一方面，我們認為，潛在的目標域風格雖然不可見，但大概分布在該one-shot風格的附近。另一方面，我們應該讓搜索出的風格對模型的泛化能力有價值，即不能完全過擬合到one-shot的風格。沿著這種思路，我們設計了ASM方法。

ASM方法以one-shot圖片提供的風格作為“錨”風格（anchored style），利用一個圖片生成網絡G在anchored style周圍采樣一個相似的風格（該風格離anchored style較近）進行圖片生成，然后將下一步的搜索方向確定為對當前任務模型M最難的方向（利用梯度上升實現）進行搜索，從而生成更多更難風格的圖像來提高任務特定模型 M 的泛化能力。另一方面，更新后的 M 為 G 提供動態反饋，以指導G下一步的搜索方向。顯然，M與G形成了一個對抗的過程。在這種對抗訓練過程中，G逐步生成對于M來說更加困難的圖片，而M不斷地更新G的搜索方向。訓練收斂后，M可以對anchored style周圍的所有風格具有較強的泛化能力。

方法詳情

風格生成網絡RAIN

根據解決思路中的描述，針對OSUDA問題，ASM算法需要一個根據M的訓練loss而動態改變遷移風格的模塊G，且模塊G需要具有采樣能力和端到端可導的搜索能力?；贏daIN方法，我們設計了RAIN模塊。RAIN 在原始 AdaIN 的特征空間中額外裝備了一個變分自編碼器（稱為 style VAE）。style VAE將所有的風格分布都編碼到了一個正態分布中，因此RAIN在訓練完成后，不需要再像AdaIN一樣每次輸入風格圖片進行風格遷移，而是可以直接通過采樣進行隨機風格遷移。通過改變采樣向量，生成的風格也相應的發生變化。因此，直接將梯度反傳至采樣向量即可完成端到端的對抗訓練。RAIN module的詳情如圖2所示。

對抗風格挖掘網絡ASM

有了可采樣可求導的風格生成模塊G，ASM的實現也就水到渠成了。文章將預訓練的G（也就是RAIN）的參數固定（可變的只有采樣向量），與M組成一個對抗網絡。這里的M以語義分割常用的FCN網絡為例，整體框架如圖3所示。

ASM的訓練目標是優化兩個損失函數。

任務損失：利用任務損失指導 M 從（已經過風格化的）源域數據和標簽中學習知識。

一致性損失：為了進一步鼓勵 M 提取領域不變性特征，算法使用了一致性損失，定義如下。

其中

代表 M 中的深層特征, 代表一個 Batch 內所有圖像的深層特征向量平均值。該損失函數的設計動機是因為領域自適應問題假設源域和目標域共享相同的內容空間，但是風格不同，因此不同風格化下的源圖像應該在深層保持相似的語義信息。這種損失限制了具有相同內容但不同風格的批圖像之間的語義一致性，鼓勵了 M 僅僅提取語義信息這種領域間不變的特征，增強了模型的泛化能力。

綜上所述， ASM 模型的總體優化目標為：

算法偽代碼：

實驗結果

本文分別在Classification和Segmentation的OSUDA任務上進行了實驗。

OSUDA Classification實驗

Classification實驗采用了經典的MNIST-USPS-SVHN互相遷移的任務進行效果度量，結果如表1所示。

我們通過T-SNE圖進一步展示ASM的效果，如圖4所示。

圖4 tSNE 特征可視化（a）： Source only；（b）： CycleGAN；（c）： OST；（D）： ASM

OSUDA Segmentation實驗

OSUDA Segmentation實驗在GTA2Cityscapes和Synthia2Cityscapes兩個任務上進行測試，結果如表2所示。可以看到，在OSUDA setting下ASM獲得了SOTA的mIOU，并且在傳統的UDA setting下，ASM也能達到很好的效果。

圖5展示了OSUDA語義分割任務的可視化結果。

圖5 OSUDA語義分割可視化結果

消融實驗

消融實驗探究了consistency loss的重要性，如表3所示。

不同采樣策略的結果比較

該實驗比較了不同采樣類型的風格生成結果，如表4所示。Anchor Sampling是完全在one-shot樣本附近的采樣策略（無對抗搜索過程），容易造成過擬合；而Random Sampling會生成對M無益的隨機風格。ASM方法生成的樣本既保證了風格符合潛在的目標域風格分布，又保證了對任務模型的有效泛化能力。

不同采樣策略生成結果可視化，如圖6所示。

圖6 不同采樣策略的風格遷移結果

結論

針對目標域數據可能稀缺的情況，本章提出了新的基于單目標域樣本的領域自適應（One-shot Unsupervised Domain Adaptation，簡稱 OSUDA）問題場景，并針對此問題設計了對抗風格挖掘（Adversarial Style Mining，簡稱 ASM）算法。 OSUDA 問題的困難之處在于，由于無法從單個目標域樣本推理目標域的真實分布，因此基于特征對齊、基于偽標簽生成和基于熵最小化的一些常見 UDA 方法都無法正常使用。本文所提出的 ASM 以對抗學習的方式將風格轉換模塊和特定任務模塊相結合，迭代地、高效地搜索新的風格化樣本，以幫助任務模型泛化到幾乎不可見的目標域。 ASM 可以被視為一種通用框架，因為特定于任務的子網絡 M 可以根據不同的跨域任務進行更改。本章在分類和分割任務上的實驗結果表明了 ASM 針對 OSUDA 問題有效性。與其他領域自適應方法相比，ASM 在目標域樣本稀缺的情境下具有最優的性能。

OSUDA是一種非?，F實卻極具挑戰性的問題環境，目前相關研究較少，特別是在語義分割任務上還有較大提升空間。

總結

以上是生活随笔為你收集整理的yzmcms图片自适应代码_[ NeurIPS 2020 ] 一叶知秋 —— 基于“单目标域样本”的领域自适应方法...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。