?PaperWeekly?·?作者｜康國梁

學(xué)校｜卡內(nèi)基梅隆大學(xué)博士后

研究方向｜深度學(xué)習(xí)、領(lǐng)域自適應(yīng)、語義分割

論文標(biāo)題：

Pixel-Level Cycle Association: A New Perspective for Domain Adaptive Semantic Segmentation

論文作者：

Guoliang Kang, Yunchao Wei, Yi Yang, Yueting Zhuang, Alexander Hauptmann

論文鏈接：

https://papers.nips.cc/paper/2020/file/243be2818a23c980ad664f30f48e5d19-Paper.pdf

語義分割近年來獲得非常大的進步和發(fā)展。但是當(dāng)分割網(wǎng)絡(luò)執(zhí)行跨域（cross-domain）預(yù)測任務(wù)時，性能還遠不能令人滿意。例如，分割網(wǎng)絡(luò)在易于獲得標(biāo)注的 synthetic data 上訓(xùn)練，在真實場景圖片上進行分類，性能會發(fā)生大幅下跌。

這種性能下降是由于目標(biāo)域（target domain）和源域（source domain）圖片的分布（風(fēng)格，布局，等）不同所造成的。領(lǐng)域自適應(yīng)語義分割（Domain Adaptive Semantic Segmentation）就是利用帶標(biāo)注的源域數(shù)據(jù)和無標(biāo)注的目標(biāo)域數(shù)據(jù)來減小或者消除域漂移（domain shift）帶來的性能損失。

動機

對于領(lǐng)域自適應(yīng)語義分割，以前的方法通?；?adversarial training，讓圖片或者 feature map 在不同 domain 之間變得不可區(qū)分。但是這些方法更多地關(guān)注全局或者整體的相似度，忽略了域內(nèi)和域間的像素間關(guān)系，盡管能夠在一定程度上消除域差異，其導(dǎo)致的 feature 并不具備非常好的辨別性，因而影響分類性能。這篇論文充分利用像素間的相似度來消除域差異，同時提高 feature 的辨別性。

方法

2.1 Pixel-Level Cycle Association

如上圖所示，對于隨機采樣的 source 和 target 圖片，我們首先建立他們像素級別的關(guān)聯(lián)。我們利用像素級別的循環(huán)一致性（pixel-level cycle consistency）來建立這種關(guān)聯(lián)。

具體來說，對于任一 source 圖片中的像素 S1，我們在 target 圖片中選擇與之相似度最高的像素 T。然后，對于選擇的 target 像素 T，我們反過來選擇與之最接近的 source 圖片中的像素 S2。如果 S1 和 S2 屬于同一個類別，我們則建立 S1--> T --> S2 的關(guān)聯(lián)，否則，關(guān)聯(lián)不成立。

對于建立起關(guān)聯(lián)的像素，我們 contrastively 增強他們之間（S1--> T 和 T--> S2）的聯(lián)系。我們通過 minimize 如下 loss 來實現(xiàn)這一目的（ 對應(yīng)于 S1， 對應(yīng)于 T， 對應(yīng)于 S2）：

其中， 表示建立起循環(huán)關(guān)聯(lián)的起始 source 像素點集合。 代表像素 feature 的相似度，這里采用 cosine similarity。

簡而言之，就是讓關(guān)聯(lián)的 source 和 target 像素對的相似度相比于其他可能的像素對更高。

2.2 Gradient Diffusion via Spatial Aggregation

通過循環(huán)關(guān)聯(lián)，我們可以建立 source 和 target 像素之間的聯(lián)系。但是，通常只有部分 target 像素可以和 source 像素成功地建立起關(guān)聯(lián)。原因有兩個，一是循環(huán)關(guān)聯(lián)傾向于選擇最容易關(guān)聯(lián)到的 target 像素；二是由于域差異，對于當(dāng)前 source 圖片的部分像素，target image 中在本質(zhì)上可能就不存在應(yīng)該與之關(guān)聯(lián)的像素。

為了給更多樣化的 target 像素提供 supervision，對每個 target 像素點，我們采取 spatial aggregation 生成新的 feature，然后基于 aggregated feature 建立循環(huán)關(guān)聯(lián)，如下圖所示。

通過這種方式，在 backward 的過程中，每個關(guān)聯(lián)到的 target 像素點作為 seed 把傳遞給它的 gradients “分發(fā)給” 圖片中的其他像素，其大小取決于其他像素點和 seed 像素點之間的相似度。

2.3 Multi-Level Cycle Association

除了在 feature 層建立和增強循環(huán)關(guān)聯(lián)以外，我們還在分割網(wǎng)絡(luò)預(yù)測的像素的 probability distribution 上建立循環(huán)關(guān)聯(lián)。方法跟在 feature 上的做法一樣。唯一不同的是，我們采取負的 Kullback-Leibler (KL) divergence 作為相似度度量, 即

對應(yīng)的 loss 為：

2.4 Objective

除了 association loss，我們最后的 objective 還包括 cross-entropy loss，lovász-softmax loss， adaptive 的 Linear Smooth Regularization（LSR）loss。

其中，lovász-softmax loss 用來緩解 class imbalance 的影響，LSR 用來促進 smooth 的 prediction，以便于利用類間的關(guān)系建立起關(guān)聯(lián)。

對于 Objective，我在這里不多做贅述，感興趣的小伙伴可以去看我們的 paper。

實驗結(jié)果

我們在 GTAV→Cityscapes 和 SYNTHIA→Cityscapes 上驗證了我們方法的有效性。

Ablation study:

其中，“Sim-PLCA”指的是直接增強關(guān)聯(lián)像素對相似度的方式，“PLCA w/o. SAGG”指的是不采用 spatial aggregation 建立關(guān)聯(lián)。

同之前方法的比較:

詳細的實驗結(jié)果和分析，感興趣的小伙伴可以去看我們的 paper。

?

本文提出的方法在跨域語義分割方面，取得了不錯的結(jié)果。我們相信，本文的方法可以延伸到其他相關(guān)領(lǐng)域，比如說 weakly-supervised learning, unsupervised feature learning 等。

?

更多閱讀

?

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標(biāo)準(zhǔn)：

? 稿件確系個人原創(chuàng)作品，來稿需注明作者個人信息（姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向）?

? 如果文章并非首發(fā)，請在投稿時提醒并附上所有已發(fā)布鏈接?

? PaperWeekly 默認每篇文章都是首發(fā)，均會添加“原創(chuàng)”標(biāo)志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發(fā)送?

? 請留下即時聯(lián)系方式（微信或手機），以便我們在編輯發(fā)布時和作者溝通

????

現(xiàn)在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學(xué)術(shù)平臺。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結(jié)

以上是生活随笔為你收集整理的NeurIPS 2020 | 利用像素级别循环一致性解决领域自适应语义分割问题的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。