[1]A Survey on Transfer Learning:CUHK的楊強(qiáng)教授于2010年發(fā)表在IEEE的Transactions on knowledge and data engineering上關(guān)于遷移學(xué)習(xí)的綜述性論文。

在許多機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘算法中，一個(gè)主要的假設(shè)是訓(xùn)練和未來(lái)的數(shù)據(jù)必須在相同的特征空間中，并且具有相同的分布。然而，在許多實(shí)際應(yīng)用程序中，這種假設(shè)可能不成立。例如，我們有時(shí)在一個(gè)感興趣的領(lǐng)域中有一個(gè)分類任務(wù)，但是在另一個(gè)感興趣的領(lǐng)域中我們只有足夠的訓(xùn)練數(shù)據(jù)，在另一個(gè)領(lǐng)域中，后者可能位于不同的特征空間或遵循不同的數(shù)據(jù)分布。

在這種情況下，如果成功地進(jìn)行知識(shí)遷移，就可以避免昂貴的數(shù)據(jù)標(biāo)記工作，從而大大提高學(xué)習(xí)性能。近年來(lái)，遷移學(xué)習(xí)作為一種新的學(xué)習(xí)框架應(yīng)運(yùn)而生。本研究的重點(diǎn)是分類和回顧目前遷移學(xué)習(xí)在分類、回歸和聚類問(wèn)題上的進(jìn)展。在本研究中，我們討論了遷移學(xué)習(xí)與其他相關(guān)機(jī)器學(xué)習(xí)技術(shù)的關(guān)系，如領(lǐng)域適應(yīng)domain adaptation、多任務(wù)學(xué)習(xí)multitask learning、樣本選擇偏差sample selection bias以及co-variate shift。同時(shí)，我們也探討了遷移學(xué)習(xí)研究中一些潛在的未來(lái)問(wèn)題。
?

[2]Domain Adaptation via Transfer Component Analysis:CUHK的楊強(qiáng)教授于2011年發(fā)表在AAAI的提出的應(yīng)用在Domain Adaption上的TCA。

領(lǐng)域自適應(yīng)Domain Adaptation通過(guò)利用不同但相關(guān)的源領(lǐng)域中的訓(xùn)練數(shù)據(jù)來(lái)解決目標(biāo)領(lǐng)域中的學(xué)習(xí)問(wèn)題。直觀地說(shuō)，發(fā)現(xiàn)一個(gè)好的特征表示是至關(guān)重要的。在本文中，我們提出了一種新的學(xué)習(xí)方法，遷移成分分析Transfer Component Analysis(TCA)來(lái)尋找這種表示形式，用于Domain Adaptation。

TCA嘗試使用最大平均偏差Maximum Mean Discrepancy(MMD)學(xué)習(xí)在一個(gè)可復(fù)制核希爾伯特空間Reproducing Kernel Hilbert Space(RKHS)中跨域的Transfer Component。在這些傳輸分量所張成的子空間中，不同區(qū)域的數(shù)據(jù)分布比較接近。因此，利用該子空間中的新表示，我們可以應(yīng)用標(biāo)準(zhǔn)的機(jī)器學(xué)習(xí)方法來(lái)訓(xùn)練源域中的分類器或回歸模型，以便在目標(biāo)域中使用。研究的主要貢獻(xiàn)是提出了一種新的特征表示方法，該方法利用特征提取方法，通過(guò)新的參數(shù)核進(jìn)行域自適應(yīng)，將數(shù)據(jù)投影到所學(xué)習(xí)的Transfer Component上，極大地減小了域分布之間的距離。此外，我們的方法可以處理大型數(shù)據(jù)集，并自然地導(dǎo)致樣本外泛化。通過(guò)跨域室內(nèi)WiFi定位和跨域文本分類兩個(gè)實(shí)際應(yīng)用的實(shí)驗(yàn)，驗(yàn)證了該方法的有效性和有效性。

?

[3]Transfer Feature Learning with Joint Distribution Adaptation：JDA方法首次發(fā)表于2013年的ICCV，它的作者是清華大學(xué)的博士生（現(xiàn)為清華大學(xué)助理教授）龍明盛。本篇介紹的JDA相當(dāng)于TCA的增強(qiáng)算法。前作：Domain Adaptation via Transfer Component Analysis。

遷移學(xué)習(xí)是一種有效的計(jì)算機(jī)視覺(jué)技術(shù)，它利用源域中豐富的標(biāo)記數(shù)據(jù)為目標(biāo)域構(gòu)建精確的分類器。然而，以往的方法并沒(méi)有同時(shí)減小域間的邊界分布和條件分布的差異。在本文中，我們提出了一種新的遷移學(xué)習(xí)方法，稱為Joint Distribution Adaptation聯(lián)合分布適配(JDA)。具體地說(shuō)，JDA的目標(biāo)是在一個(gè)有原則的降維過(guò)程中，聯(lián)合適配jointly adapt邊緣分布和條件分布，并構(gòu)造新的特征表示，對(duì)于較大的分布差異，該特征表示是有效和魯棒的。大量的實(shí)驗(yàn)證明，JDA在四種類型的跨域圖像分類問(wèn)題上可以顯著優(yōu)于幾種最先進(jìn)的方法。

?

[4]How transferable are features in deep neural networks?：發(fā)表于NIPS 2014，本篇論文的作者是Jason Yosinski博士（當(dāng)時(shí)是康奈爾大學(xué)的博士生），Uber AI聯(lián)合創(chuàng)始人。同時(shí)三作是Yoshua Bengio，也是剛剛獲得了圖靈獎(jiǎng)。

許多以自然圖像為訓(xùn)練對(duì)象的深度神經(jīng)網(wǎng)絡(luò)都表現(xiàn)出一個(gè)奇怪的共同現(xiàn)象：在第一層，它們學(xué)習(xí)到類似Gabor過(guò)濾器和色塊的特征。這些第一層特性似乎不是特定于特定的數(shù)據(jù)集或任務(wù)，而是通用的，因?yàn)樗鼈冞m用于許多數(shù)據(jù)集和任務(wù)。特性最終必須由網(wǎng)絡(luò)的最后一層從一般特性過(guò)渡到特定特性，但是這種過(guò)渡還沒(méi)有得到廣泛的研究。本文對(duì)深卷積神經(jīng)網(wǎng)絡(luò)各層神經(jīng)元的通用性和特異性進(jìn)行了實(shí)驗(yàn)量化，得到了一些令人驚訝的結(jié)果。可遷移性受到兩個(gè)不同問(wèn)題的負(fù)面影響：

較高層次神經(jīng)元對(duì)其原始任務(wù)的專門化，以犧牲目標(biāo)任務(wù)的性能為代價(jià)，這是預(yù)期的；
與共適應(yīng)神經(jīng)元之間的網(wǎng)絡(luò)分裂相關(guān)的優(yōu)化困難，這是預(yù)期不到的。在一個(gè)基于ImageNet的示例網(wǎng)絡(luò)中，我們演示了這兩個(gè)問(wèn)題中的一個(gè)可能占主導(dǎo)地位，這取決于特性是從網(wǎng)絡(luò)的底部、中部還是頂部傳輸?shù)摹?br /> 我們還記錄了隨著基本任務(wù)和目標(biāo)任務(wù)之間距離的增加，特征的可移植性降低，但是即使是從遙遠(yuǎn)的任務(wù)遷移特征也比使用隨機(jī)特征要好。最后一個(gè)令人驚訝的結(jié)果是，初始化一個(gè)具有幾乎任意層傳輸?shù)奶匦缘木W(wǎng)絡(luò)可以提高泛化能力，即使在對(duì)目標(biāo)數(shù)據(jù)集進(jìn)行微調(diào)之后，泛化仍然存在。
?

[5]Domain Adaptive Neural Networks for Object Recognition：PRICAI 2014的DaNN（Domain Adaptive Neural Network）。

提出了一種簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)模型來(lái)處理目標(biāo)識(shí)別中的Domain Adaptive問(wèn)題。我們的模型將Maximum Mean Discrepancy(MMD)作為正則化方法引入監(jiān)督學(xué)習(xí)中，以減少潛在空間中源域和目標(biāo)域的分布不匹配。從實(shí)驗(yàn)中，我們證明MMD正則化是一種有效的工具同時(shí)在SURF選取特征和原始圖像像素的一個(gè)特定的圖像數(shù)據(jù)集上，來(lái)提供良好的領(lǐng)域適應(yīng)模型。我們還表明，提出的模型中，之前denoising auto-encoder預(yù)訓(xùn)練，達(dá)到更好的性能比最近的基準(zhǔn)模型在相同的數(shù)據(jù)集。這項(xiàng)工作代表了在神經(jīng)網(wǎng)絡(luò)背景下對(duì)MMD測(cè)量的首次研究。

?

[6]Deep domain confusion: Maximizing for domain invariance：來(lái)自來(lái)自加州大學(xué)伯克利分校的Eric Tzeng等人發(fā)表在arXiv 2014的DDC（Deep Domain Confusion）。DDC針對(duì)預(yù)訓(xùn)練的AlexNet（8層）網(wǎng)絡(luò)，在第7層（也就是feature層，softmax的上一層）加入了MMD距離來(lái)減小source和target之間的差異。這個(gè)方法簡(jiǎn)稱為DDC。

最近的報(bào)告表明，在大規(guī)模數(shù)據(jù)集上訓(xùn)練的通用監(jiān)督深度CNN模型減少了(但沒(méi)有消除)標(biāo)準(zhǔn)benchmark上的數(shù)據(jù)集bias。在一個(gè)新的領(lǐng)域中對(duì)深度模型進(jìn)行微調(diào)可能需要大量的數(shù)據(jù)，而對(duì)于許多應(yīng)用來(lái)說(shuō)，這些數(shù)據(jù)是不可用的。我們提出一種新的CNN架構(gòu)，它引入了一個(gè)適應(yīng)層和一個(gè)額外的domain confusion損失，以學(xué)習(xí)一個(gè)語(yǔ)義上有意義和域不變的表示。此外，我們還展示了一個(gè)domain confusion度量可以用于模型選擇，以確定自適應(yīng)層的維數(shù)和該層在CNN體系結(jié)構(gòu)中的最佳位置。我們提出的適應(yīng)方法提供了經(jīng)驗(yàn)的表現(xiàn)，這超過(guò)了以前發(fā)表的標(biāo)準(zhǔn)benchmark視覺(jué)領(lǐng)域適應(yīng)任務(wù)的結(jié)果。

?

[7]Learning Transferable Features with Deep Adaptation Networks：清華大學(xué)助理教授Mingsheng Long (龍明盛)發(fā)表在國(guó)際機(jī)器學(xué)習(xí)頂級(jí)會(huì)議JMLR 2015上的深度適配網(wǎng)絡(luò)(Deep Adaptation Network, DAN)。前作DDC：Deep domain confusion: Maximizing for domain invariance。

最近的研究表明，深度神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)可轉(zhuǎn)移的特征，這些特征可以很好地推廣到新的領(lǐng)域適應(yīng)任務(wù)。然而，隨著深度特征在網(wǎng)絡(luò)中最終由一般特征向特定特征過(guò)渡，隨著domain差異的增大，深度特征在更高層次上的可移植性顯著下降。因此，形式化地減少數(shù)據(jù)集偏差，增強(qiáng)任務(wù)特定層的可移植性是非常重要的。

本文提出了一種新的深度自適應(yīng)網(wǎng)絡(luò)(DAN)結(jié)構(gòu)，將深度卷積神經(jīng)網(wǎng)絡(luò)推廣到領(lǐng)域自適應(yīng)場(chǎng)景。在DAN中，所有特定于任務(wù)的層的隱藏表示都嵌入到一個(gè)可復(fù)制的內(nèi)核Hilbert空間中，在這個(gè)空間中可以顯式匹配不同域分布的平均嵌入。采用均值嵌入匹配的多核優(yōu)化選擇方法，進(jìn)一步減小了domain間的差異。DAN可以在有統(tǒng)計(jì)保證的情況下學(xué)習(xí)可轉(zhuǎn)移的特性，并且可以通過(guò)核嵌入的無(wú)偏估計(jì)進(jìn)行線性擴(kuò)展。大量的經(jīng)驗(yàn)證據(jù)表明，該架構(gòu)在標(biāo)準(zhǔn)域適應(yīng)基準(zhǔn)上產(chǎn)生了最先進(jìn)的圖像分類錯(cuò)誤率。

?

[8]Geodesic flow kernel for unsupervised domain adaptation：2012年發(fā)表在CVPR，GFK作為子空間變換方面是最為經(jīng)典的遷移學(xué)習(xí)方法，它建立在2011年發(fā)表在ICCV上的另一篇開(kāi)創(chuàng)性質(zhì)的文章（SGF）。

在視覺(jué)識(shí)別的實(shí)際應(yīng)用中，許多因素，如姿態(tài)、光照或圖像質(zhì)量，都可能導(dǎo)致訓(xùn)練分類器的源域與應(yīng)用分類器的目標(biāo)域之間的嚴(yán)重不匹配。因此，分類器在目標(biāo)域中的性能通常很差。Domain Adaption技術(shù)旨在糾正這種不匹配。現(xiàn)有的方法側(cè)重于學(xué)習(xí)跨域不變的特性表示，它們通常不直接利用許多視覺(jué)數(shù)據(jù)集固有的低維結(jié)構(gòu)。

在本文中，我們提出了一種新的基于核的方法來(lái)利用這種結(jié)構(gòu)。我們的測(cè)地線流內(nèi)核Geodesic flow kernel通過(guò)集成無(wú)窮多個(gè)子空間來(lái)模擬域的移動(dòng)，這些子空間描述了從源到目標(biāo)域的幾何和統(tǒng)計(jì)特性的變化。我們的方法在計(jì)算上是有利的，自動(dòng)推斷重要的算法參數(shù)，而不需要廣泛的交叉驗(yàn)證或來(lái)自任何領(lǐng)域的標(biāo)記數(shù)據(jù)。我們還引入了一個(gè)可靠的度量方法來(lái)度量一對(duì)源域和目標(biāo)域之間的適應(yīng)性。對(duì)于給定的目標(biāo)域和多個(gè)源域，可以使用該度量自動(dòng)選擇最優(yōu)的源域，以適應(yīng)和避免不太理想的源域。對(duì)標(biāo)準(zhǔn)數(shù)據(jù)集的實(shí)證研究表明，我們的方法優(yōu)于競(jìng)爭(zhēng)的方法。

?

[9]Conditional Adversarial Domain Adaptation：清華大學(xué)助理教授Mingsheng Long (龍明盛)發(fā)表在國(guó)際機(jī)器學(xué)習(xí)頂級(jí)會(huì)議Neural2018上提出的新的Domain Adaptation的條件對(duì)抗網(wǎng)絡(luò)。

對(duì)抗性學(xué)習(xí)已被嵌入到深層網(wǎng)絡(luò)中，用于學(xué)習(xí)解糾纏和可轉(zhuǎn)移的領(lǐng)域適應(yīng)表示。在分類問(wèn)題中，現(xiàn)有的對(duì)抗性域自適應(yīng)方法可能無(wú)法有效地對(duì)齊多模態(tài)分布的不同域。在本文中，我們提出了一個(gè)條件對(duì)抗性域適應(yīng)的原則框架，該框架對(duì)分類器預(yù)測(cè)中所傳遞的判別信息建立了對(duì)抗性適應(yīng)模型。條件域?qū)剐跃W(wǎng)絡(luò)(CDANs)采用了兩種新的條件調(diào)節(jié)策略：多線性條件調(diào)節(jié)和熵條件調(diào)節(jié)。前者通過(guò)捕獲特征表示與分類器預(yù)測(cè)之間的交叉方差來(lái)提高分類器的識(shí)別率，后者通過(guò)控制分類器預(yù)測(cè)的不確定性來(lái)保證分類器的可移植性。有了理論保證和幾行代碼，這種方法在5個(gè)數(shù)據(jù)集上已經(jīng)超過(guò)了最先進(jìn)的結(jié)果。

?

[10]Transfer Learning via Learning to Transfer：最近有一篇叫做《Learning To Transfer》的文章火了，被ICML 2018接收。后來(lái)一篇《Transfer Learning via Learning to Transfer》被PMLR2018接受。

在遷移學(xué)習(xí)中，要解決的兩個(gè)主要問(wèn)題是什么和如何遷移，因?yàn)樵谠从蚝湍繕?biāo)域之間應(yīng)用不同的遷移學(xué)習(xí)算法會(huì)導(dǎo)致不同的知識(shí)遷移，從而提高目標(biāo)域的性能。確定最大限度地提高性能的最佳方案需要進(jìn)行徹底的探索或大量的專業(yè)知識(shí)。同時(shí)，教育心理學(xué)普遍認(rèn)為，人類通過(guò)對(duì)歸納遷移學(xué)習(xí)實(shí)踐的元認(rèn)知反思，提高了決定遷移內(nèi)容的遷移學(xué)習(xí)技能。

基于此，我們提出了一種新的遷移學(xué)習(xí)框架，即學(xué)習(xí)遷移(learning to transfer, L2T)，通過(guò)利用以前的遷移學(xué)習(xí)經(jīng)驗(yàn)，自動(dòng)確定什么遷移是最好的，以及如何遷移。我們建立了L2T框架，分兩個(gè)階段進(jìn)行:

通過(guò)從經(jīng)驗(yàn)中加密遷移學(xué)習(xí)技巧，學(xué)習(xí)一個(gè)反射函數(shù)，；
通過(guò)對(duì)反射函數(shù)的優(yōu)化，推導(dǎo)出未來(lái)一對(duì)域的最佳傳輸方式和最佳傳輸方式。從理論上分析了L2T算法的穩(wěn)定性和推廣界，并通過(guò)實(shí)驗(yàn)證明了其相對(duì)于幾種最先進(jìn)的遷移學(xué)習(xí)算法的優(yōu)越性。
?

[11]Open Set Domain Adaptation：本專欄專門講Domain Adaptation的第一篇論文。這篇文章是接受于ICCV 2017，文章的setting是特別新穎的，獲得了ICCV Marr Prize 提名。所以很值得一看。

當(dāng)訓(xùn)練和測(cè)試數(shù)據(jù)屬于不同的領(lǐng)域時(shí)，對(duì)象分類器的精度會(huì)顯著降低。因此，為了減少數(shù)據(jù)集之間的域轉(zhuǎn)移，近年來(lái)提出了幾種算法。然而，所有可用的域適應(yīng)評(píng)估協(xié)議都描述了一個(gè)封閉的集合識(shí)別任務(wù)，其中兩個(gè)域，即源和目標(biāo)，都包含完全相同的對(duì)象類。在這項(xiàng)工作中，我們還探索了開(kāi)放集中的域適應(yīng)領(lǐng)域，這是一個(gè)更現(xiàn)實(shí)的場(chǎng)景，其中源數(shù)據(jù)和目標(biāo)數(shù)據(jù)之間只共享幾個(gè)感興趣的類別。因此，我們提出了一種同時(shí)適用于閉集和開(kāi)集場(chǎng)景的方法。該方法通過(guò)聯(lián)合解決一個(gè)賦值問(wèn)題來(lái)學(xué)習(xí)從源到目標(biāo)域的映射，該問(wèn)題為那些可能屬于源數(shù)據(jù)集中出現(xiàn)的感興趣類別的目標(biāo)實(shí)例貼上標(biāo)簽。全面的評(píng)估表明，我們的方法優(yōu)于最先進(jìn)的。
?

[12]Partial Transfer Learning with Selective Adversarial Networks：清華大學(xué)助理教授Mingsheng Long (龍明盛)發(fā)表在國(guó)際機(jī)器學(xué)習(xí)頂級(jí)會(huì)議CVPR2018。

對(duì)抗性學(xué)習(xí)已經(jīng)成功地嵌入到深度網(wǎng)絡(luò)中，以學(xué)習(xí)可遷移的特征，從而減少源域和目標(biāo)域之間的分布差異。現(xiàn)有的域?qū)咕W(wǎng)絡(luò)假設(shè)跨域完全共享標(biāo)簽空間。在大數(shù)據(jù)的存在下，將分類和表示模型從現(xiàn)有的大規(guī)模域遷移到未知的小規(guī)模域具有很強(qiáng)的動(dòng)力。引入部分遷移學(xué)習(xí)，將共享標(biāo)簽空間的假設(shè)松弛為目標(biāo)標(biāo)簽空間僅是源標(biāo)簽空間的一個(gè)子空間。以往的方法一般都是將整個(gè)源域與目標(biāo)域匹配，對(duì)于局部遷移問(wèn)題，容易產(chǎn)生負(fù)遷移。我們提出了選擇性對(duì)抗性網(wǎng)絡(luò)Selective Adversarial Networks(SAN)，它通過(guò)選擇離群源類來(lái)避免負(fù)遷移，通過(guò)最大程度匹配共享標(biāo)簽空間中的數(shù)據(jù)分布來(lái)促進(jìn)正遷移。實(shí)驗(yàn)表明，我們的模型在多個(gè)基準(zhǔn)數(shù)據(jù)集上的局部遷移學(xué)習(xí)任務(wù)的性能優(yōu)于最先進(jìn)的結(jié)果。

?

[13]Importance Weighted Adversarial Nets for Partial Domain Adaptation：計(jì)算機(jī)視覺(jué)頂會(huì)CVPR 2018接收：《Importance Weighted Adversarial Nets for Partial Domain Adaptation》。文章作者團(tuán)隊(duì)來(lái)自澳大利亞臥龍崗大(University of Wollongong)

本文提出了一種基于權(quán)重加權(quán)對(duì)抗網(wǎng)絡(luò)的無(wú)監(jiān)督域自適應(yīng)方法，特別適用于目標(biāo)域類數(shù)少于源域的局部域自適應(yīng)。以往的領(lǐng)域自適應(yīng)方法一般采用相同的標(biāo)簽空間，從而減小了分布的差異，實(shí)現(xiàn)了可行的知識(shí)遷移。然而，在更現(xiàn)實(shí)的場(chǎng)景中，這種假設(shè)不再有效，該場(chǎng)景需要從更大、更多樣化的源域適應(yīng)到更小、類數(shù)更少的目標(biāo)域。本文擴(kuò)展了基于對(duì)抗性網(wǎng)絡(luò)的域自適應(yīng)方法，提出了一種新的基于對(duì)抗性網(wǎng)絡(luò)的局部域自適應(yīng)方法來(lái)識(shí)別可能來(lái)自異常類的源樣本，同時(shí)減少了域間共享類的遷移。

?

[14]DANN：Unsupervised Domain Adaptation by Backpropagation：發(fā)表在ICML15上。論文提出了用對(duì)抗的思想進(jìn)行domain adaptation，該方法名叫DANN(或RevGrad)。核心的問(wèn)題是同時(shí)學(xué)習(xí)分類器??、特征提取器?以及領(lǐng)域判別器?。通過(guò)最小化分類器誤差，最大化判別器誤差，使得學(xué)習(xí)到的特征表達(dá)具有跨領(lǐng)域不變性。

高性能的深層體系結(jié)構(gòu)是針對(duì)大量標(biāo)記數(shù)據(jù)進(jìn)行訓(xùn)練的。在缺少特定任務(wù)的標(biāo)記數(shù)據(jù)的情況下，域自適應(yīng)通常提供了一個(gè)有吸引力的選項(xiàng)，因?yàn)榫哂蓄愃菩再|(zhì)但來(lái)自不同域的標(biāo)記數(shù)據(jù)(例如合成圖像)是可用的。在此，我們提出了一種在深層體系結(jié)構(gòu)中進(jìn)行域自適應(yīng)的新方法，該方法可以訓(xùn)練來(lái)自源域的大量標(biāo)記數(shù)據(jù)和來(lái)自目標(biāo)域的大量未標(biāo)記數(shù)據(jù)(不需要標(biāo)記的target domain數(shù)據(jù))。

隨著訓(xùn)練的進(jìn)行，該方法促進(jìn)了

• 對(duì)源域上的主要學(xué)習(xí)任務(wù)具有鑒別性的深層特征的出現(xiàn)
• 關(guān)于域之間的遷移具有不變性

我們證明，這種自適應(yīng)行為幾乎可以在任何前饋模型中實(shí)現(xiàn)，通過(guò)增加幾個(gè)標(biāo)準(zhǔn)層和一個(gè)簡(jiǎn)單的新的梯度逆轉(zhuǎn)層。生成的增強(qiáng)體系結(jié)構(gòu)可以使用標(biāo)準(zhǔn)的反向傳播進(jìn)行訓(xùn)練。

總的來(lái)說(shuō)，使用任何深度學(xué)習(xí)包都可以輕松地實(shí)現(xiàn)該方法。該方法在一系列的圖像分類實(shí)驗(yàn)中取得了良好的效果，在存在較大的域遷移的情況下，取得了較好的自適應(yīng)效果，在Office數(shù)據(jù)集上的性能優(yōu)于以往的先進(jìn)方法。
?

[15]Domain Adaptation for Large-Scale Sentiment Classification: A Deep Learning Approach：由Yoshua Bengio領(lǐng)導(dǎo)完成發(fā)表在ICML2011上，引用量超1000+的論文，算是domain adaptation發(fā)表較早的論文。

在線評(píng)論online reviews和推薦recommendations的指數(shù)增長(zhǎng)使得情感分類成為學(xué)術(shù)和工業(yè)研究中一個(gè)有趣的話題。評(píng)審可以跨越許多不同的領(lǐng)域，因此很難為所有這些領(lǐng)域收集帶注釋的訓(xùn)練數(shù)據(jù)。因此，本文研究了情緒分類器的域適配問(wèn)題，在此基礎(chǔ)上，設(shè)計(jì)了一個(gè)基于一個(gè)源域的帶標(biāo)記評(píng)論訓(xùn)練系統(tǒng)，并將其應(yīng)用于另一個(gè)源域。我們提出了一種深度學(xué)習(xí)方法，該方法學(xué)習(xí)以一種無(wú)監(jiān)督的方式為每個(gè)評(píng)審提取有意義的表示。在一個(gè)由4種亞馬遜產(chǎn)品評(píng)論組成的基準(zhǔn)測(cè)試中，使用這種高級(jí)特征表示訓(xùn)練的情感分類器明顯優(yōu)于最先進(jìn)的方法。此外，該方法具有良好的可擴(kuò)展性，使我們能夠在22個(gè)域的更大的工業(yè)強(qiáng)度數(shù)據(jù)集上成功地進(jìn)行域適應(yīng)。

?

[16]Domain Adaptation for Object Recognition: An Unsupervised Approach：由馬里蘭大學(xué)帕克分校完成發(fā)表在ICCV2011上，引用量超600+的論文，算是domain adaptation發(fā)表較早的論文。

將訓(xùn)練在源域上的分類器用于識(shí)別來(lái)自新目標(biāo)域的實(shí)例是最近受到關(guān)注的一個(gè)重要問(wèn)題。在本文中，我們提出了在對(duì)象識(shí)別上下文中關(guān)于無(wú)監(jiān)督域適應(yīng)的首批研究之一，其中我們只標(biāo)記了來(lái)自源域的數(shù)據(jù)(因此沒(méi)有跨域的對(duì)象類別之間的對(duì)應(yīng)關(guān)系)。出于增量學(xué)習(xí),我們創(chuàng)建中介表示兩個(gè)域之間的數(shù)據(jù)通過(guò)查看生成子空間維度(相同的)從這些領(lǐng)域創(chuàng)建點(diǎn)Grassmann歧管,沿著測(cè)地線和采樣點(diǎn)之間獲取子空間,提供一個(gè)有意義的描述底層域的轉(zhuǎn)變。然后我們得到標(biāo)記源域數(shù)據(jù)在這些子空間上的投影，從中學(xué)習(xí)一個(gè)判別分類器對(duì)目標(biāo)域上的投影數(shù)據(jù)進(jìn)行分類。我們討論了我們的方法的擴(kuò)展，用于半監(jiān)督自適應(yīng)，以及用于多個(gè)源和目標(biāo)域的情況，并在標(biāo)準(zhǔn)數(shù)據(jù)集上報(bào)告競(jìng)爭(zhēng)結(jié)果。

?

[17]Deep CORAL: Correlation Alignment for Deep Domain Adaptation

深度神經(jīng)網(wǎng)絡(luò)能夠從大量標(biāo)記的輸入數(shù)據(jù)中學(xué)習(xí)強(qiáng)大的表示，但是它們不能很好地概括輸入分布的變化。提出了一種域自適應(yīng)算法來(lái)補(bǔ)償由于域移動(dòng)而導(dǎo)致的性能下降。在本文中，我們解決了目標(biāo)域未標(biāo)記的情況，需要無(wú)監(jiān)督的自適應(yīng)。CORAL[1]是一種非常簡(jiǎn)單的無(wú)監(jiān)督域自適應(yīng)方法，它用線性變換對(duì)源和目標(biāo)分布的二階統(tǒng)計(jì)量進(jìn)行對(duì)齊。在這里，我們將CORAL擴(kuò)展到學(xué)習(xí)一個(gè)非線性轉(zhuǎn)換，該轉(zhuǎn)換將深層神經(jīng)網(wǎng)絡(luò)(deep CORAL)中的層激活關(guān)聯(lián)對(duì)齊。在標(biāo)準(zhǔn)基準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)顯示了最先進(jìn)的性能。
?

[18]Simultaneous Deep Transfer Across Domains and Tasks：由Eric Tzeng, Judy Hoffman等完成發(fā)表在ICCV2016上，引用量高達(dá)400+，也算是遷移學(xué)習(xí)領(lǐng)域相當(dāng)高引的一篇好文章。

最近的報(bào)告表明，一個(gè)訓(xùn)練在大規(guī)模數(shù)據(jù)集上的通用監(jiān)督深度CNN模型減少了數(shù)據(jù)集bias，但沒(méi)有完全消除。在一個(gè)新領(lǐng)域中對(duì)深度模型進(jìn)行微調(diào)可能需要大量的標(biāo)記數(shù)據(jù)，這對(duì)于許多應(yīng)用程序來(lái)說(shuō)根本不可用。我們提出一種新的CNN架構(gòu)來(lái)利用未標(biāo)記和稀疏標(biāo)記的目標(biāo)域數(shù)據(jù)。我們的方法同時(shí)對(duì)域不變性進(jìn)行優(yōu)化，以方便域遷移，并使用軟標(biāo)簽分布匹配soft label distribution matching損失在任務(wù)之間傳遞信息。我們提出的適應(yīng)方法提供了經(jīng)驗(yàn)性能，超過(guò)了之前發(fā)表的兩個(gè)標(biāo)準(zhǔn)基準(zhǔn)視覺(jué)領(lǐng)域適應(yīng)任務(wù)的結(jié)果，評(píng)估跨監(jiān)督和半監(jiān)督適應(yīng)設(shè)置。

?

[19]Domain-Adversarial Training of Neural Networks

提出了一種新的領(lǐng)域適應(yīng)表示學(xué)習(xí)方法，即訓(xùn)練和測(cè)試時(shí)的數(shù)據(jù)來(lái)自相似但不同的分布。我們的方法直接受到域適應(yīng)理論的啟發(fā)，該理論認(rèn)為，要實(shí)現(xiàn)有效的域轉(zhuǎn)移，必須基于不能區(qū)分訓(xùn)練(源)域和測(cè)試(目標(biāo))域的特征進(jìn)行預(yù)測(cè)。

該方法在神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)的上下文中實(shí)現(xiàn)了這一思想，神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)的訓(xùn)練對(duì)象是源域的標(biāo)記數(shù)據(jù)和目標(biāo)域的未標(biāo)記數(shù)據(jù)(不需要標(biāo)記目標(biāo)域數(shù)據(jù))。隨著培訓(xùn)的進(jìn)展，該方法促進(jìn)了(i)對(duì)源領(lǐng)域的主要學(xué)習(xí)任務(wù)具有任意的特征的出現(xiàn)，(ii)對(duì)域之間的轉(zhuǎn)換具有不加區(qū)別的特征。

我們證明，這種自適應(yīng)行為幾乎可以在任何前饋模型中實(shí)現(xiàn)，通過(guò)增加幾個(gè)標(biāo)準(zhǔn)層和一個(gè)新的梯度反轉(zhuǎn)層。生成的增強(qiáng)架構(gòu)可以使用標(biāo)準(zhǔn)的反向傳播和隨機(jī)梯度下降進(jìn)行訓(xùn)練，因此可以使用任何深度學(xué)習(xí)包輕松實(shí)現(xiàn)。我們證明了我們的方法成功地解決了兩個(gè)不同的分類問(wèn)題(文檔情感分析和圖像分類)，其中在標(biāo)準(zhǔn)基準(zhǔn)上實(shí)現(xiàn)了最先進(jìn)的領(lǐng)域適應(yīng)性能。我們還驗(yàn)證了描述符學(xué)習(xí)任務(wù)在人員再識(shí)別應(yīng)用中的方法。

總結(jié)

以上是生活随笔為你收集整理的Domain Adaptation论文合集的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。