域对抗自适应算法的设计、不足与改进（Domain Adversarial Learning）
?作者 |?江俊廣
單位 |?清華大學
研究方向 |?遷移學習
本文主要介紹域自適應（Domain Adaptation）中的對抗域自適應方法（Domain Adversarial Learning）。
域自適應的算法不僅包括對抗域自適應方法，還包括：
統計距離（Statistics Matching）
假設對抗自適應（Hypothesis Adversarial）
數據域翻譯（Domain Translation）
自訓練（Self-Training）
自監督學習（Self-supervised Learning）
這些在遷移學習文獻綜述 Transferability in Deep Learning: A Survey 中進行了詳細介紹，后續也會為這些方法推出相關的介紹文章。
對抗域自適算法的理論基礎可以參考姐妹篇文章遷移學習：域自適應理論簡介 Domain Adaptation Theory。
本文力求用通俗的語言介紹對抗域自適應方法最重要的幾個算法的設計以及它們的改進。因此，不了解域自適應理論不影響閱讀本文。
域自適應問題
域自適的核心問題是解決數據分布不一致對機器學習模型性能的影響。
1.1 問題背景
大部分機器學習模型通常會假設訓練集和測試集來自相同的數據分布，這在人工打標并處理過的數據集上通常是能滿足的。
然而如果讓我們的目光不再局限在各種已經存在標注的數據后，而是擴展到全世界無數傳感器、攝像頭以及社交網絡用戶每天產生的海量數據時，我們就會發現標注數據是少數，與標注數據的分布不一致的無標注數據才是大部分數據的常態。
比如在野外部署了大量的攝像頭來檢測野生動物的行為?[1]，但是往往只有部分地區部分時間段的數據存在著標注。而在不同的數據中，攝像機角度、背景、植被、顏色和動物分布存在巨大差異，這導致在標注數據上訓練的模型無法很好地泛化到其他地區或者未來產生的數據上。
1.2 問題定義
上述場景的抽象描述就是無監督域適應的學習設定。給定從不同的數據分布 和 中采樣得到的有標注數據集 和無標數據集 ，無監督域自適應希望能學到一個在分布 上性能盡可能好的模型。
1.3 數據分布概念總結
以下簡單總結了域自適應的文獻中經常會出現各種和分布相關的概念。區分這些定義可以幫助你更好地理解不同域自適應算法的動機以及它們的異同。
分布（Distribution）指的是數據所有可能出現的值，以及在這些值上出現的概率。
邊緣分布（Marginal Distribution）：在統計學中，指的是多維隨機變量中，部分變量的概率分布。而在域自適應中，一般指的是輸入數據或者是特征的分布，常常記作 。
聯合分布（Joint Distribution）：同時對輸入數據 和標簽 的概率分布 。聯合分布也可展開寫成 或者 。
條件分布（Conditional Distribution）：當已知 的取值為某個特定值 之時，輸入數據或者是特征的分布，常常記作 或者?。
標簽分布（Label Distribution）：標簽 的概率分布 。
分布偏移（Distribution Shift）指的是訓練集和測試集的分布 和 出現了差異，即 。常見的分布偏移可分為：
協變量偏移（Covariate Shift）：打標函數 固定，只有邊緣分布 隨著數據域發生變化，即
402 Payment Required
。統計學家稱之為協變量偏移，因為特征也叫做協變量。標簽偏移（Label Shift）：條件分布 固定，只有標簽分布 隨著數據域發生變化，即
402 Payment Required
。概念偏移（Concept Shift）：標簽的定義隨著數據域發生變化，即 。
目前學術界關注最多的就是協變量偏移和標簽偏移，因為它們相對容易解決。
在實際問題中出現的往往是上述情況的混合。比如在野生動物監測應用中，不同攝像頭的拍攝背景和動物本身的分布都不同，此時邊緣分布 和標簽分布 都隨著數據域發生了變化。
對抗算法設計
對抗域自適應方法的核心想法是學習足夠好的表示（representation），使得在表示層面降低不同數據分布的差異。
2.1 邊緣分布的對齊
領域對抗神經網絡 （Domain Adversarial Neural Network，DANN）[2] 是域自適應使用最為廣泛的方法之一。它的核心想法就是在表示層面減少邊緣分布 和 的差異。
生成對抗網絡 Generative Adversarial Net（GAN）[3] 引入了一個判別器來刻畫真實的數據分布和生成的數據分布之間的差異。受到 GAN 的啟發，DANN 使用域判別器（Domain Discriminator）D 來區分不同數據域產生的特征，
域判別器的準確率就刻畫了兩個數據域邊緣分布的差異，然后特征生成器（Feature Generator） 的目標就是努力欺騙域判別器，從而減少邊緣分布的差異。
DANN 隱含的假設是不同的數據域之間只存在協變量偏移 ，但是這是在許多實際問題中很難滿足的假設，因此后續不斷地提出改進（見本文的第 3 部分）。
需要指出的是，DANN 基于的理論是 -Divergence，而后者推導的前提是二分類問題以及 0-1 損失，因此直接將 DANN 推廣到多分類問題以及回歸問題是沒有理論保證的（詳細解釋參考遷移學習：域自適應理論簡介 Domain Adaptation Theory）。
2.2 條件分布的對齊
直觀地講，在多分類問題中使用 DANN 存在的問題是——即使判別器被成功地欺騙，依然無法保證源域和目標域的特征分布是對齊的。因為很可能是不同類的特征（比如源域上的狗和目標域上的貓的特征）被拉近，尤其是類別數較多的時候。
避免上述問題的一個直接思路是讓不同類的特征分別拉近，即顯式地減少條件分布 和 的距離。
然而目標域上的類別標簽是未知的。因此條件對抗神經網絡 （Conditional Adversarial Neural Network，CDAN）[4] 在訓練域判別器的時候使用模型的預測 代替條件分布中的標簽，
讓域判別器看到模型的輸出，本質上增強了域判別器的區分能力。而為了欺騙加強后的域判別器，特征生成器不得不將每個類別的特征分別拉近。因此 CDAN 在類別數多的分類問題上會獲得更好的遷移效果。
2.3 標簽分布的對齊
還有一種比較極端的拉近數據分布的方法，是直接對齊兩個數據域的輸出分布。
這里隱含的假設是標簽偏移完全不存在，即 。理想情況下，模型在不同數據域上的輸出分布也應該是一致的，但是由于源域和目標域之間存在的協變量偏移 ，使得模型的輸出分布并不一致。反過來思考，只要鼓勵模型在不同數據域上的輸出分布盡可能一致，就可以間接地拉近兩個數據域的邊緣分布。
在實際的分類應用中，數據域之間不存在標簽偏移的假設幾乎不可能成立。此外，相比于特征空間，輸出空間丟失了太多的信息，因此只是約束輸出空間的分布一致，并不能保證兩個數據域的邊緣分布被正確地拉近。因此，標簽空間的對齊在大部分任務中是不合適的。
但是也有例外的情況，比如實例分割（Semantic Segmentation）這種像素級別的分類任務。在這些任務中，輸出空間本身包含豐富的信息，例如相鄰的像素往往具有相同的類別，而這些信息在不同的數據域之間是相通的。因此，Adapt-SegMap?[5]?訓練域判別器來區分實例分割模型的輸出是來自源域還是來自目標域，同時鼓勵特征生成器對齊目標域和源域的輸出分布，這種方式反而比在特征空間進行對抗域自適應效果更好。
對抗的不足與改進
盡管對抗域自適應方法在常見的域自適應數據集上（Office-31，Office-Home 以及 VisDA2017）的效果很顯著， 但在實際應用中它依然存在著若干不足，這里簡單羅列四點。
3.1 魯棒性差
域自適應的效果非常依賴于特定的假設。Office-31 這種數據集是人為構造出來的干凈數據集，因此 Office-31很好地滿足了只存在協變量偏移的假設。但是在 IWILDCAM-WILDS [1]?這種真實應用的數據集上，無標注目標域是真的不存在人工標注，因此協變量偏移和標簽偏移的存在都是無法避免的。而當標簽分布不一致的時候，對抗訓練極容易將不同數據域的不同類別的特征拉近，導致對抗域自適應反而會起到負作用。
因此在介紹不同算法的過程中，我們總是強調了它所基于的假設。這也是機器學習中沒有免費午餐定理很好的一個例子——不同問題中的假設不同，因此沒有哪種域自適應算法可以在所有問題上都有最好的效果。
當數據中不滿足對抗域自適應算法所期望的假設時，一種直接的想法是，重新構造源域和目標域，使得它們盡可能滿足算法的假設。
比如重要性加權對抗網絡（Importance Weighted Adversarial Nets, IWAN）[6]?的動機就是挑選合適的數據參與對抗訓練。具體的，IWAN 訓練了兩個域判別器，一個依然是用來學習域無關的表征，另外一個用來挑選合適的數據。讓第二個域判別器感到困惑的數據往往屬于源域和目標域上共享的類，這些數據應該參與到域對抗訓練中，而第二個域判別器能夠成功區分開的數據點很有可能屬于源域上才有的類別，因此不應該參與到域對抗訓練中。
3.2 數據利用效率相對較低
相比于統計距離（比如 DAN?[7]，JAN 等），基于域判別器學習得到的距離需要更多的數據（不論是源域還是目標域）。因此在數據量相對較少的場景下，反而是基于統計距離的域自適應方法效果更好。強調相對的原因是，數據量相對的多少不僅取決于總的數據量，還取決于類別數，比如 DomainNet 數據量雖然大，但是類別數也多，導致在 DomainNet 上反而是 DAN 比 DANN 效果更好。
3.3 無法處理回歸問題
對抗域自適應在回歸問題上是沒有理論保證的（解釋見 Domain Adaptation Theory）。直觀上的理解是，回歸問題中，特征的分布在整個空間是離散且彌漫的，那么 即使判別器被成功地欺騙，依然無法保證源域和目標域的特征按照相同的標簽被拉近。
同時在實驗上，域對抗自適應的方法在回歸問題上表現也不好 [8]。
3.4 降低了模型的判別性
盡管對抗域自適應在特征空間減少了不同數據域的分布差異，從而增強了特征的遷移性（Transferability），但它可能犧牲掉特征的判別性（Discriminability）。比如在分類問題里，將對抗域自適應后的特征固定住，在其上訓練分類器的難度是增加的。
譜分析表明?[9]，對特征進行SVD分解后，最大的奇異值一般對應不同數據域之間共享的知識，而其他特征值則往往對應領域特定的知識。盡管這些特征向量可能會包含判別信息，但是依然會在域對抗訓練中受到懲罰，從而削弱了判別性。為了權衡模型的判別性和遷移性，批量光譜懲罰（Batch Spectral Penalization）懲罰最大的奇異值，從而相對增強其他特征值來提高判別性。
在一些復雜的應用，上述幾個問題是同時存在的。比如在目標檢測的域自適應中
標簽偏移總是不可避免的，因此對抗域自適應的假設被破壞了
目標框的定位是一個回歸任務，對抗域自適應對此無能為力
域對抗的過程容易降低檢測器的判別性，導致其目標定位能力變差
因此在目標檢測中使用對抗域自適應需要一些特別的設計?[10]，我們會在下一篇文章中展開介紹。
本文主要參考 Transferability in Deep Learning: A Survey?[11]?中的章節 3.2.2 Domain Adversarial Learning。感興趣的讀者可以閱讀原文：
https://arxiv.org/abs/2201.05867
本文中提到的大部分算法都可以在下方鏈接找到代碼實現：
https://github.com/thuml/Transfer-Learning-Library/tree/master/examples/domain_adaptation/image_classification
鏈接
文獻綜述：
https://arxiv.org/pdf/2201.05867.pdf
Paper List：
https://github.com/thuml/Awesome-Transfer-Learning
算法庫Github：
https://github.com/thuml/Transfer-Learning-Library
算法庫網站：
https://transfer.thuml.ai/
參考文獻
[1] abSagawa, S., Koh, P. W., Lee, T., Gao, I., Xie, S. M., Shen, K., Kumar, A., Hu, W., Yasunaga, M., Marklund, H., Beery, S., David, E., Stavness, I., Guo, W., Leskovec, J., Saenko, K., Hashimoto, T., Levine, S., Finn, C., and Liang, P. Ex- tending the wilds benchmark for unsupervised adaptation. In NeurIPS Workshop on Distribution Shifts, 2021.
[2] Yaroslav Ganin and Victor Lempitsky. Unsupervised domain adaptation by backpropaga- tion. In ICML, 2015.
[3] Ian J Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio. Generative adversarial networks. In NeurIPS, 2014.
[4] Mingsheng Long, Zhangjie Cao, Jianmin Wang, and Michael I. Jordan. Conditional adver- sarial domain adaptation. In NeurIPS, 2018.
[5] Yi-Hsuan Tsai, Wei-Chih Hung, Samuel Schulter, Kihyuk Sohn, Ming-Hsuan Yang, and Manmohan Chandraker. Learning to adapt structured output space for semantic seg- mentation. In CVPR, 2018.
[6] Zhang, J., Ding, Z., Li, W., and Ogunbona, P. Importance weighted adversarial nets for partial domain adaptation. In CVPR, 2018.
[7] Mingsheng Long, Yue Cao, Jianmin Wang, and Michael I. Jordan. Learning transferable features with deep adaptation networks. In ICML, 2015.
[8] Junguang Jiang, Yifei Ji, Ximei Wang, Yufeng Liu, Jianmin Wang, and Mingsheng Long. Regressive domain adaptation for unsupervised keypoint detection. In CVPR, 2021
[9] Xinyang Chen, Sinan Wang, Mingsheng Long, and Jianmin Wang. Transferability vs. discriminability: Batch spectral penalization for adversarial domain adaptation. In ICML, 2019c.
[10] Junguang Jiang, Baixu Chen, Jianmin Wang, and Mingsheng Long. Decoupled adaptation for cross-domain object detection. In ICLR, 2022.
[11] Junguang Jiang, Yang Shu, Jianmin Wang, Mingsheng Long, Transferability in Deep Learning: A Survey?https://arxiv.org/abs/2201.05867
更多閱讀
#投 稿?通 道#
?讓你的文字被更多人看到?
如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。
總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?
PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經驗講解等。我們的目的只有一個，讓知識真正流動起來。
📝?稿件基本要求：
? 文章確系個人原創作品，未曾在公開渠道發表，如為其他平臺已發表或待發表的文章，請明確標注?
? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發送，要求圖片清晰，無版權問題
? PaperWeekly 尊重原作者署名權，并將為每篇被采納的原創首發稿件，提供業內具有競爭力稿酬，具體依據文章閱讀量和文章質量階梯制結算
📬?投稿通道：
? 投稿郵箱：hr@paperweekly.site?
? 來稿請備注即時聯系方式（微信），以便我們在稿件選用的第一時間聯系作者
? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿
△長按添加PaperWeekly小編
🔍
現在，在「知乎」也能找到我們了
進入知乎首頁搜索「PaperWeekly」
點擊「關注」訂閱我們的專欄吧
·
總結
以上是生活随笔為你收集整理的域对抗自适应算法的设计、不足与改进（Domain Adversarial Learning）的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 讴歌尾箱开启高度是多少？
- 下一篇： 下列车辆，应缴纳车船税的是（ ）。