?PaperWeekly 原創 ·?作者｜張瑋瑋

學校｜東北大學碩士生

研究方向｜情感識別

論文標題：Discriminative Joint Probability Maximum Mean Discrepancy (DJP-MMD) for Domain Adaptation

論文鏈接：https://arxiv.org/abs/1912.00320

代碼鏈接：https://github.com/chamwen/JPDA

領域適應（DA），或遷移學習，通過將知識從標記的源域轉移到新的未標記或部分標記的目標域，廣泛應用于圖像分類、情緒識別、腦機接口等。傳統的 DA 方法遵循這個假設，即主要使用一些度量方法來分別度量邊際概率或條件概率分布。然而，聯合概率分布可以更好地測量兩個域的分布差異。

為了方便利用 DA 方法，在特征轉換時需要考慮兩個方面：1）可遷移性，它最小化了同一類在不同域之間的差異；2）區分性，它最大限度地擴大了不同域的不同類之間的差異，從而使不同的類更容易區分。

傳統的 DA 方法只考慮可遷移性，而忽略了類內可區分性。作者直接考慮了源域和目標域具有不同的聯合概率分布的情況， 提出了具有類間差異的聯合概率最大平均差異。

通過直接考慮聯合概率分布的差異，作者提出了一種用于分布適應的具有類間差異的聯合概率 MMD ( discriminative ?joint probability MMD, DJP-MMD)。

它同時最小化了同一類不同域之間的聯合概率分布差異以獲得可遷移性，最大化了不同域之間的聯合概率分布差異以獲得可識別性。還可以很容易地將 DJP-MMD 用于考慮不同域之間的非線性轉移。

DJP-MMD知識基礎

1.1 傳統MMD方法

在傳統的 DA 方法中，經常使用 MMD 來度量源域和目標域之間的分布差異。一個分布差異完全是由它的聯合概率?來描述的，它可以被?或??等價地計算出來。

上式需要兩步才能被近似計算出來。

條件分布差異是：

?

邊緣分布差異是：

?表示子空間樣本的期望。

引入一個非線性映射?，MMD 距離可以寫成如下式：

當?是 TCA 方法，是 JDA 方法，是 BDA。因此，這些傳統的 DA ?方法是基于邊際和條件的權值完成 MMDs 近似聯合概率分布。

論文方法

2.1 DJP-MMD

上圖將傳統的聯合 MMD 提出的 DJP-MMD 進行了比較，從圖中可以看出，DJP-MMD 使來自不同域的同一個類更加一致，使不同的類更加分離，便于分類。

聯合概率差異可以定義為：

，表示兩個領域之間的類內差異與類間差異。

因此具有差異的聯合概率差異可以定義為：，其中?可以表示為：

?可以表示為：

同樣?表示為：

作者將其嵌入到一個非監督聯合概率 DA (JPDA) 框架中，該框架具有一個正則化項和一個主成分保留約束。整體優化函數需要將式中的最小化，即，求解最優線性映射：

其中，，，是中心矩陣。

2.2 JPDA優化

讓?，可以得到拉格朗日函數 ：

通過設置?，成為一個廣義的特征分解問題 ：

2.3?JPDA偽代碼

結果

為了評估本文方法的性能，作者在 Offifice+Caltech 、COIL 、Multi-PIE 、USPS 、MNIST 數據集進行了實驗，將所提出的 JPDA 與三種無監督 DA 方法（TCA、JDA和BDA）進行比較 。實驗結果與 t-SNE 數據分布結果如下圖。

JPDA 在大部分任務中都優于 3 個基線實驗，平均性能也最好，這說明 JPDA 在跨域視覺適應中可以獲得更強的可遷移性和更強的鑒別特征映射。

t-SNE 數據分布圖中，Raw 表示原始數據分布。對于原始分布，來自源域和目標域的類 1 和類 3（也有一些來自類 2）的樣本混合在一起。在 DA 之后，JPDA 將源域和目標域的數據分布放在一起，并將來自不同類的樣本很好地分隔開。

從柱形圖上看，JP-MMD 優于聯合 MMD，而 DJP-MMD 進一步考慮了可分辨性，獲得了最好的分類性能。

結論

本文提出了一種簡單而有效的 DJP-MMD 方法。通過最小化源域和目標域（即，提高域可轉移性），最大限度地提高不同類的聯合概率 MMD（即，增加類的辨別力）。

與傳統的基于 MMD 的方法相比，JPDA 更簡單、更有效地測量了不同領域之間的差異。在 6 個圖像分類數據集上的實驗驗證了 JPDA 的優越性。

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結

以上是生活随笔為你收集整理的迁移学习领域自适应：具有类间差异的联合概率最大平均差异的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。