開(kāi)放域適應(yīng)文章專(zhuān)題

2018 ECCV論文 開(kāi)放域適應(yīng)專(zhuān)題，后續(xù)也會(huì)陸續(xù)更新新的論文閱讀的解析

論文鏈接 ：https://github.com/zhaoxin94/awesome-domain-adaptation/blob/2f39423e584378e435b81ad972913c3c9445d5ba/README.md#open-set-da

本文不全是翻譯，會(huì)附帶作者的一些個(gè)人論文理解

---

文章目錄

• 開(kāi)放域適應(yīng)文章專(zhuān)題
• 摘要
• Introduction
• method
• • Overall Idea
  • Training Procedure
• 4. 實(shí)驗(yàn)部分
• • 4.1 實(shí)現(xiàn)細(xì)節(jié)：
• 總結(jié)

---

摘要

主要講的是：現(xiàn)在有很多的遷移學(xué)習(xí)算法被提出，從label信息充足的 Source 域遷移到label信息匱乏的 Target 域，但是這些都是閉集的場(chǎng)景： Source 域與 Target 域共享label空間。論文提出了一種新的場(chǎng)景，在Target域中不僅包含 Source 域的已知類(lèi)別的樣本，更有未知類(lèi)的一些樣本,具體的描述如下圖所示。

Introduction

提出問(wèn)題：
開(kāi)集域適應(yīng)存在兩個(gè)問(wèn)題：
1.我們沒(méi)有這些未知類(lèi)的先驗(yàn)知識(shí)，所有無(wú)法將未知類(lèi)剝離出target 目標(biāo)域
2. 域的差異性無(wú)法解決，因?yàn)閮蓚€(gè)域之間存在一定的漂移，所以無(wú)法使用域特征對(duì)齊的方法解決問(wèn)題（bp，mmd）

為了解決這些問(wèn)題，作者使用了對(duì)抗學(xué)習(xí)的思想解決問(wèn)題：我們假設(shè)我們的方法存在兩個(gè)結(jié)構(gòu)：一個(gè)是特征提取器，另一個(gè)是分類(lèi)器，特征提取器輸出為一個(gè)圖片的特征向量，而分類(lèi)器輸出一個(gè) k+1維的向量， k指的是已知類(lèi)的分類(lèi)概率，而最后1維是未知類(lèi)的概率，如果大于0.5即被認(rèn)為是未知類(lèi)；
分類(lèi)器希望將目標(biāo)域和源域的數(shù)據(jù)分開(kāi)，特征提取器希望將數(shù)據(jù)的分布一致，這樣就構(gòu)成了一種對(duì)抗關(guān)系。
這樣特征提取器有兩種方法可以是源域與目標(biāo)域的分布一致，將目標(biāo)域數(shù)據(jù)與源域已知數(shù)據(jù)特征對(duì)齊，另一種方式就是將部分目標(biāo)域數(shù)據(jù)識(shí)別為未知類(lèi)，這樣就可以實(shí)現(xiàn)兩域的數(shù)據(jù)分布一致。

本文的三大貢獻(xiàn)：
1.提出開(kāi)集域適應(yīng)；
2.使用對(duì)抗學(xué)習(xí)的思想將目標(biāo)域中已知類(lèi)和未知類(lèi)分開(kāi)；
3.驗(yàn)證該方法在數(shù)據(jù)集上的有效性。

method

Overall Idea

為了將目標(biāo)域中的已知類(lèi)和未知類(lèi)進(jìn)行劃分，我們需要首先設(shè)置一個(gè)邊界，由于沒(méi)有未知類(lèi)的信息，我們還是沒(méi)有辦法提供一個(gè)十分準(zhǔn)確的邊界。所以提出了一個(gè)偽邊界，我們使用分類(lèi)器來(lái)實(shí)現(xiàn)下面的這樣一個(gè)目標(biāo)函數(shù)，讓所有輸入的目標(biāo)域樣本的概率為 $t$, 然后訓(xùn)練特征提取器來(lái)欺騙它，最大化分類(lèi)的誤差。

特征提取器：為了增大誤差，可以提高未知類(lèi)的概率，即將該樣本從已知類(lèi)中分離出去；
舉個(gè)例子，如果 $t$ 非常小，特征提取器會(huì)很容易將樣本屬于未知類(lèi)的概率變大，而非變小來(lái) 將分類(lèi)與$t$差異變大。意思是特征提取器將會(huì)選擇增大概率（將樣本拒絕為未知類(lèi)樣本）或者降低概率（將樣本與源域樣本特征對(duì)齊）的方法增大分類(lèi)器的誤差。
$t$ 的大小是可以變化的，我們后續(xù)分析它的變化對(duì)方法的影響。

Training Procedure

首先需要在 source 數(shù)據(jù)集上預(yù)訓(xùn)練分類(lèi)模型，針對(duì) K 種源數(shù)據(jù)集中的樣本，將其可以很好的分類(lèi)出來(lái)使用以下公式，公式（1）是source數(shù)據(jù)集中的損失函數(shù)，（2）是source數(shù)據(jù)樣本前向傳播得到的分類(lèi)概率向量。

為了滿(mǎn)足輸入target數(shù)據(jù)集后樣本的概率是 $t$, 我們選擇使用交叉損失熵來(lái)作為損失函數(shù)，如下公式所示：

對(duì)于分類(lèi)器，首先對(duì)于source數(shù)據(jù)要做優(yōu)化，使得分類(lèi)效果達(dá)到最好；對(duì)于target域的數(shù)據(jù)他想要將其概率固定為$t$,所以最小化器loss函數(shù)

對(duì)于特征提取器，首先對(duì)于source數(shù)據(jù)要要做優(yōu)化，使得分類(lèi)效果達(dá)到最好；對(duì)于target域的數(shù)據(jù)他想要將其概率遠(yuǎn)離為$t$,所以最大化器loss函數(shù)

---

提示：以下是本篇文章正文內(nèi)容，下面案例可供參考

4. 實(shí)驗(yàn)部分

4.1 實(shí)現(xiàn)細(xì)節(jié)：

網(wǎng)絡(luò)結(jié)構(gòu)與： 使用在 ImageNet上的 AlexNet 和VGGNet 預(yù)訓(xùn)練模型進(jìn)行訓(xùn)練，
數(shù)據(jù)集 ： Office， VisDA， digits datasets.

三個(gè)對(duì)比方法：

open set SVM:
它使用source 域中的已知類(lèi)樣本，為所有已知類(lèi)建立一個(gè)分類(lèi)閾值，在target數(shù)據(jù)集中直接測(cè)試，如果低于閾值即判定為未知類(lèi)；

MMD - OSVM
先使用MMD將其對(duì)齊，然后再使用 OSVM 的方法做未知類(lèi)的拒絕；

BP - OSVM
使用BP神經(jīng)網(wǎng)絡(luò)提取特征，然后再使用OSVM做未知類(lèi)的拒絕。

總結(jié)

提示：這里對(duì)文章進(jìn)行總結(jié)：

例如：以上就是今天要講的論文，本文主要講述了使用對(duì)抗學(xué)習(xí)做開(kāi)集域適應(yīng)的問(wèn)題，通過(guò)對(duì)抗學(xué)習(xí)，將目標(biāo)域的已知類(lèi)數(shù)據(jù)樣本和源域的數(shù)據(jù)樣本對(duì)齊，同時(shí)分離出目標(biāo)域中未知類(lèi)的樣本。

總結(jié)

以上是生活随笔為你收集整理的Open Set Domain Adaptation by Backpropagation的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。