?PaperWeekly 原創 ·?作者?|?張一帆

學校?|?中科院自動化所博士生

研究方向?|?計算機視覺

這篇文章介紹一篇 ICCV 2021 的工作：Generalized Source-free Domain Adaptation。這篇文章和傳統 DA 的 setting 關注點有以下一些不同：

模型在 source/target domain 上都要有不錯的表現；

在 adaptation 的時候，我們只能得到目標域的無標簽數據和在源域預訓練好的模型，而不能獲取源域的訓練數據。

我們首先介紹一下本文的 setting，然后細節的介紹一下本文的方法，最后看一下實驗和結論。

論文標題：

Generalized Source-free Domain Adaptation

論文鏈接：

https://arxiv.org/abs/2108.01614

項目地址：

https://github.com/Albert0147/G-SFDA

Problem Setting and Notations

公式化的描述本文所謂的 source-free domain adap-tation（G-SFDA）setting。給定源域數據 和目標域數據 ，總共類別有 類。模型分為兩部分，分別是特征提取器 和一個全連接層組成的目標分類器 ，網路的輸出定義為 C。

源域數據 只能在模型預訓練時使用，文中提出的方法只是基于一個預訓練好的模型加上數據集 。

本文方法主要由以下兩部分組成，LSC 模塊負責在不使用源域數據的情況下提升 DA 性能，SDA 模塊負責避免對源域數據的遺忘造成的在源域的性能下降。

Local Structure Clustering (LSC)

可以注意到的是，傳統 DA 的理論大部分是基于最小化 source-target domain divergence 的，但是這里我們的得不到源域數據，因此 DA 那一套的大部分方法無法正常使用。

本文方法背后的主要思想是，雖然目標域和源域的是有 distribution shift 的，但是目標域的各個類的特征依然聚在一起（如下圖），而且和源域的類的特征距離較近。

所以直觀的想法是給目標域來個聚類，將這個類和其距離最近的源域的類進行匹配，這就得到了他的標簽。我們從 LSC 所使用的 loss 出發分析這個模塊的作用：

首先作者維護一個 memory bank 來存儲目標域的特征和一個 來存儲上述特征得到的預測概率分布。對每個數據點 ，我們找到它的 -近鄰（根據特征的余弦相似度），來最小化預測分布 和他最近鄰預測分布 的點乘的負對數值，這一步鼓勵模型對 和他的最近鄰做出一樣的預測。除此之外還有一個正則項，這一項鼓勵預測類的平衡，防止目標域的數據高度不平衡導致的推化解。 是這一個 batch 里屬于 類的平均概率。

Sparse Domain Attention (SDA)

這個模塊受到持續學習（CL）方法的啟發，對每一層都施加了限制，以便留出容納新任務的能力，并防止忘記之前的任務。主要的思路是，對于不同的 domain，我們只激活其相應的特征通道，即全部特征 的一部分，也就是對于源域的特征通道我們盡可能保存，而使用其他的特征通道來對目標域進行適應。

這里我們需要一個稀疏域注意力向量 ，這些向量了大都是接近 0,1 的值，使用它來對特征進行 mask。公式化定義這些向量為：

這里的 是 embedding layer 的輸出， 是 sigmoid 函數，常量 100 是為了保證一個接近 0-1 的輸出。 都是在源域上進行訓練的，在 adaptation 的時候 fix 住。那么源域上是如何進行訓練的呢？如下圖（a）所示，和傳統方法的不同之處就在于 之間加了一個 而已。target domain 的 forward 亦是如此，但是 backward 的時候就有一些特殊了，如下圖（c），在 中出現的特征都不選擇更新。這樣就做到了保留 source domain 的信息了。

那么總體的訓練算法就出來了：

Experiments?

本文的實驗使用了 Office-Home 和 VisDA 兩個數據集。在 VisDA 上使用resent101 backbone 的結果如下，在沒有 source data 的情況下做到了 SOTA ?的性能。

而對于 source-domain 的性能，文章采取了 0.9/0.1 的數據集分割策略，可以看到本文的方法在目標域的效果顯著，同時在源域也有非常不錯的性能。

特別鳴謝

感謝 TCCI 天橋腦科學研究院對于 PaperWeekly 的支持。TCCI 關注大腦探知、大腦功能和大腦健康。

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經驗講解等。我們的目的只有一個，讓知識真正流動起來。

?????稿件基本要求：

? 文章確系個人原創作品，未曾在公開渠道發表，如為其他平臺已發表或待發表的文章，請明確標注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發送，要求圖片清晰，無版權問題

? PaperWeekly 尊重原作者署名權，并將為每篇被采納的原創首發稿件，提供業內具有競爭力稿酬，具體依據文章閱讀量和文章質量階梯制結算

?????投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請備注即時聯系方式（微信），以便我們在稿件選用的第一時間聯系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長按添加PaperWeekly小編

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

·

總結

以上是生活随笔為你收集整理的ICCV 2021 | G-SFDA：无需源数据的领域自适应方法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。