在碎片化閱讀充斥眼球的時代，越來越少的人會去關注每篇論文背后的探索和思考。

在這個欄目里，你會快速 get 每篇精選論文的亮點和痛點，時刻緊跟 AI 前沿成果。

點擊本文底部的「閱讀原文」即刻加入社區，查看更多最新論文推薦。

這是 PaperDaily 的第?120?篇文章

作者丨王晉東

學校丨中國科學院計算技術研究所博士生

研究方向丨遷移學習和機器學習

這篇論文即將發表于 NIPS 2018（現在應該叫 NeurIPS 了），作者是清華大學的龍明盛團隊。論文研究的還是領域自適應（Domain Adaptation）這一熱點問題，在一些公共的數據集中，本文的方法取得了當前最優的結果。

論文動機

Domain Adaptation 問題一直以來是遷移學習和計算機視覺領域等的研究熱點。從傳統方法，到深度方法，再到最近的對抗方法，都在嘗試解決此問題。作者在本文中提出，現在的對抗方法面臨兩個挑戰：?

一是當數據特征具有非常復雜的模態結構時，對抗方法無法捕獲多模態的數據結構，容易造成負遷移。通俗點說就是，現有的方法沒有抓住深度特征之間的關系，只是把它們一股腦進行對抗適配。?

二是當上面的問題存在時，domain classifier 就很容易出錯，所以造成遷移效果不好。

論文方法

本文提出了基于條件對抗網絡的領域自適應方法，英文名叫做 Conditional Adversarial Domain Adaptation。從題目中不難看出，主要由 Condition + Adversarial + Adaptation 這三部分構成。

進行 condition 的時候，用到了一個叫做 multilinear map 的數學工具，主要是來刻畫多個特征和類別之間的關系。下面我們分別進行描述。

對抗網絡基本結構

發表于 ICML 2015 的經典文章 Unsupervised domain adaptation by backpropagation [1] 中提出了用對抗的思想進行 Domain Adaptation，該方法名叫 DANN（或 RevGrad）。核心的問題是同時學習分類器 G、特征提取器 F、以及領域判別器 D。通過最小化分類器誤差，最大化判別器誤差，使得學習到的特征表達具有跨領域不變性。?

作者指出，DANN 的方法只是關注了數據特征的整體分布，忽略了和類別之間的相關性。因此，本文首先提出，要將特征和類別一起做自適應。公式如下：

其中，f 和 g 分別是特征和類別。通過類似于 GAN 的最大最小優化方法，就可以進行 Domain Adaptation。

條件對抗機制

聯合優化 (f,g) 的方法很多，將它們的特征向量連接起來是最直接的方法。但是這會造成它們彼此之間還是相互無關。達不到控制條件的目的。?

作者借鑒了數學上的多線性映射（Multilinear Map）概念，來表征特征和分類器彼此之間的關系。什么是多線性映射？通俗點說就是，f(x)→y 是單映射，f(x,y)→z 是雙映射，以此類推。線性呢？當固定其他自變量時，f 對未固定的那個自變量滿足線性性（就是可加性、數乘不變），維基百科上對多線性映射的解釋太抽象了。

那么，如何進行多線性映射？用 f?g。這里的 ? 表示張量乘法，就是很多維的矩陣的乘法。?

由于在深度網絡中，特征維度往往很高。為了解決維度高導致的計算復雜度增加的問題，作者引入了相應的計算方法：

就是說，當數據維度太高時，直接從特征里隨機采樣一些向量做乘法。否則，用作者提出的方法做映射。

條件對抗網絡

為了應對那些對遷移有負面影響的樣本，作者用熵來控制它們的重要性，把熵操作加到了對抗網絡中。

整個網絡的優化目標如下：

作者還在文章中分析了方法的理論誤差上界。

實驗

實驗部分與傳統的 Domain Adaptation 相同，在 Office-31，ImageCLEF-DA，Office-Home，MNIST，USPS，以及 SVHN 這些公開數據集上都進行了實驗。

實驗比較充分，詳細結果可以看原文。從結果上來說，取得了比作者之前的 JAN 更好的結果，不過提升幅度有限，這可能是深度網絡"擠牙膏"式的增長。

參考文獻

[1]?Ganin, Y. and Lempitsky, V. Unsupervised domain adaptation by backpropagation. In International Conference on Machine Learning (ICML), 2015.

本文由 AI 學術社區 PaperWeekly 精選推薦，社區目前已覆蓋自然語言處理、計算機視覺、人工智能、機器學習、數據挖掘和信息檢索等研究方向，點擊「閱讀原文」即刻加入社區！

點擊標題查看往期內容推薦：?

• 自動機器學習（AutoML）最新綜述

• 自然語言處理中的語言模型預訓練方法

• 從傅里葉分析角度解讀深度學習的泛化能力

• 深度解讀DeepMind新作：史上最強GAN圖像生成器

• 兩行代碼玩轉Google BERT句向量詞向量

• 這16篇最新論文，幫你輕松積攢知識點

• TensorSpace：超酷炫3D神經網絡可視化框架
  

#投 稿 通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？?答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

??來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

? 投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

?

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點擊 |?閱讀原文?| 下載論文

總結

以上是生活随笔為你收集整理的NIPS 2018论文解读 | 基于条件对抗网络的领域自适应方法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。