百度前首席科學家、斯坦福大學副教授吳恩達（Andrew Ng）曾經說過：遷移學習將是繼監督學習之后的下一個促使機器學習成功商業化的驅動力。

本文選自《深度學習 500 問：AI 工程師面試寶典》，將重點介紹目前最熱門的深度遷移學習方法的基本思路。

▲ 限時5折掃碼了解詳情 ▲

隨著遷移學習方法的大行其道，越來越多的研究人員開始使用深度神經網絡進行遷移學習。與傳統的非深度遷移學習方法相比，深度遷移學習直接提升了在不同任務上的學習效果，并且由于深度遷移學習直接對原始數據進行學習，所以它與非深度遷移學習方法相比有兩個優勢。

（1）能夠自動化地提取更具表現力的特征。

（2）滿足了實際應用中的端到端（End-to-End）需求。

近年來，以生成對抗網絡（Generative Adversarial Nets，GAN）為代表的對抗學習也吸引了很多研究者的目光，基于 GAN 的各種變體網絡不斷涌現。對抗學習網絡與傳統的深度神經網絡相比，極大地提升了學習效果。因此，基于對抗網絡的遷移學習也是一個熱門的研究點。

上圖為深度遷移學習方法與非深度遷移學習方法的結果對比，展示了近幾年的一些代表性方法在相同數據集上的表現。從圖中的結果可以看出，與傳統的非深度遷移學習方法（TCA、GFK等）相比，深度遷移學習方法（BA、DDC、DAN）在精度上具有顯著的優勢。

下面我們來重點介紹深度遷移學習方法的基本思路。

首先來回答一個最基本的問題：為什么深度網絡是可遷移的？然后，介紹最簡單的深度網絡遷移形式——微調。接著分別介紹使用深度網絡和深度對抗網絡進行遷移學習的基本思路和核心方法。

深度網絡的可遷移性

隨著 AlexNet 在 2012 年的 ImageNet 大賽上獲得冠軍，深度學習開始在機器學習的研究和應用領域大放異彩。盡管取得了很好的結果，但是神經網絡本身解釋性不好。神經網絡具有良好的層次結構，很自然地就有人開始思考能否通過這些層次結構來很好地解釋網絡。

于是，就有了我們熟知的例子：假設一個網絡要識別一只貓，那么一開始它只能檢測到一些邊邊角角的東西，和貓根本沒有關系；然后可能會檢測到一些線條和圓形；慢慢地，可以檢測到貓所在的區域；接著是貓腿、貓臉等。

下圖是深度神經網絡進行特征提取分類的簡單示例。

概括來說就是：前面幾層學到的是通用特征（General Feature）；隨著網絡層次的加深，后面的網絡更偏重于與學習任務相關的特定特征（Specific Feature）。這非常好理解，我們也很容易接受。那么問題來了，如何得知哪些層能夠學到通用特征，哪些層能夠學到特定特征呢？更進一步來說，如果應用于遷移學習，如何決定該遷移哪些層、固定哪些層呢？

這個問題對于理解神經網絡和深度遷移學習都有著非常重要的意義。來自康奈爾大學的 Jason Yosinski 等人率先進行了深度神經網絡可遷移性的研究，該論文是一篇實驗性質的文章（通篇沒有一個公式）[Yosinski et al.，2014]。其目的就是要探究上面提到的幾個關鍵性問題。因此，文章的全部貢獻都來自實驗及其結果。

對于 ImageNet 的 1000 個類別，作者將其分成兩份（A 和 B），每份 500 個類別。然后，分別對 A 和 B 基于 Caffe 訓練 AlexNet 網絡。AlexNet 網絡共有 8 層，除第 8 層為與類別相關的網絡無法進行遷移外，作者在 1 到 7 這 7 層上逐層進行微調實驗，探索網絡的可遷移性。

為了更好地說明微調的結果，作者提出了兩個有趣的概念：AnB 和 BnB。這里簡單介紹一下 AnB 和 BnB。（所有實驗都是針對數據 B 來說的。）

AnB：將 A 網絡的前 n 層拿來并將其固定，剩下的層隨機初始化，然后對 B 進行分類。

BnB：將 B 網絡的前 n 層拿來并將其固定，剩下的隨機初始化，然后對 B 進行分類。

深度網絡遷移的實驗結果1如下。

這個圖說明了什么呢？我們先看 BnB 和 BnB+（即 BnB 加上微調）。對于 BnB 而言，原訓練好的 B 模型的前 3 層可以直接拿來使用，而不會對模型精度有什么損失。到了第 4 層和第 5 層，精度略有下降，不過還可以接受。然而到了第 6 層、第 7 層，精度居然奇跡般地回升了，這是為什么？

原因如下：對于一開始精度下降的第 4 層、第 5 層來說，到了這兩層，特征變得越來越具體，所以下降了。而對于第 6 層、第 7 層來說，由于整個網絡就 8 層，我們固定了第 6 層、第 7 層，那這個網絡還能學什么呢？所以很自然地，精度和原來的 B 模型幾乎一致。

對 BnB+ 來說，結果基本上保持不變。說明微調對模型精度有著很好的促進作用。

我們重點關注 AnB 和 AnB+。對于 AnB 來說，直接將 A 網絡的前 3 層遷移到? B，貌似不會有什么影響，再次說明，網絡的前 3 層學到的幾乎都是通用特征。往后，到了第 4 層、第 5 層時，精度開始下降，原因是這兩層的特征不通用了。

然而，到了第 6 層、第 7 層，精度出現了小小的提升后又下降，這又是為什么？作者在這里提出兩點：互相適應（Co-Adaptation）和特征表示（Feature Representation）。

也就是說，在第4層、第5層，主要是由于 A 和 B 兩個數據集的差異比較大，精度才會下降的；到了第 6 層、第 7 層，由于網絡幾乎不再迭代，學習能力太差，此時特征學不到，所以精度下降得更厲害。

對于 AnB+，加入了微調以后，AnB+ 的表現對于所有的 n 幾乎都非常好，甚至比 baseB（最初的 B）還要好一些。這說明，微調對深度遷移有著非常好的促進作用。

綜合分析上述結果就得到了下圖的深度網絡遷移實驗結果 2。

作者進一步設想，是不是在分 A、B 數據時，里面存在一些比較相似的類使結果變好了？例如，A 里有貓，B 里有獅子，所以結果會好。為了排除這些影響，作者又重新劃分數據集，這次讓 A 和 B 幾乎沒有相似的類別。在這個條件下再做 AnB，與原來精度進行比較，得到如下深度網絡遷移實驗結果 3。

上圖說明，隨著可遷移層數的增加，模型性能會下降。但是，前 3 層仍然是可以遷移的。同時，與隨機初始化所有權重相比，遷移學習獲得的精度更高。

結論：

雖然論文 [Yosinski et al.，2014] 并沒有提出創新的方法，但通過實驗得到了以下幾個結論，這對深度學習和深度遷移學習的研究都有著非常好的指導意義。

（1）神經網絡的前 3 層基本都是通用特征，進行遷移的效果比較好。

（2）在深度遷移網絡中加入微調，效果提升會比較大，可能會比原網絡效果還好。

（3）微調可以比較好地克服數據之間的差異性。

微調

深度網絡的微調（Fine-Tune）也許是最簡單的深度網絡遷移方法。簡而言之，微調是利用別人已經訓練好的網絡，針對自己的任務再進行調整。從這個意義上看，不難理解微調是遷移學習的一部分。對于微調，有以下幾個常見問題。

2.1 為什么需要已經訓練好的網絡

在實際應用中，我們通常不會針對一個新任務，從頭開始訓練一個神經網絡。這樣的操作顯然是非常耗時的。尤其是，我們的訓練數據不可能像 ImageNet 那么大，可以訓練出泛化能力足夠強的深度神經網絡。即使我們有如此之多的訓練數據，從頭開始訓練，其代價也是不可承受的。

那怎么辦呢？遷移學習告訴我們，利用之前已經訓練好的模型，將它很好地遷移到自己的任務上即可。

2.2 為什么需要微調

因為別人訓練好的模型，可能并不完全適用于我們自己的任務。別人的訓練數據和我們的數據可能不服從同一個分布；也可能別人的網絡能做比我們的任務更多的事情；可能別人的網絡比較復雜，而我們的任務比較簡單。

舉例子來說，假如我們想訓練一個貓狗圖像二分類的神經網絡，那么在 CIFAR-100 上訓練好的神經網絡就很有參考價值。但是 CIFAR-100 有 100 個類別，我們只需要 2 個類別。此時，就需要針對我們自己的任務，固定原始網絡的相關層，修改網絡的輸出層，以使結果更符合我們的需要，這樣，會極大地加快網絡訓練速度，對提高我們任務上的精度表現也有很大的促進作用。

2.3 微調的優勢

微調有以下幾個優勢。

●?針對新任務，不需要從頭開始訓練網絡，可以節省時間。

●?預訓練好的模型通常是在大數據集上進行訓練的，這無形中擴充了我們的訓練數據，使模型更魯棒、泛化能力更好。

●?微調實現簡單，我們只需關注自己的任務即可。

深度網絡自適應

3.1 基本思路

深度網絡的微調可以幫助我們節省訓練時間，提高學習精度。但是微調有它的先天不足：它無法處理訓練數據，無法測試不同數據的分布情況。因為微調的基本假設也是訓練數據和測試數據服從相同的數據分布。這在遷移學習中是不成立的。因此，我們需要更進一步，針對深度網絡開發出更好的方法使之更好地完成遷移學習任務。

以前面介紹過的數據分布自適應方法為參考，許多深度學習方法都設計了自適應層（Adaptation Layer）來完成源域和目標域數據的自適應。自適應能夠使源域和目標域的數據分布更加接近，從而使網絡的精度、穩定性更好。

從上述分析可以得出，深度網絡的自適應主要完成兩部分工作。

（1）決定哪些層可以自適應，這決定了網絡的學習程度。

（2）決定采用什么樣的自適應方法（度量準則），這決定了網絡的泛化能力。

早期的研究者在 2014 年環太平洋人工智能大會（Pacific Rim International Conference on Artificial Intelligence，PRICAI）上提出了名為 DANN（Domain Adaptive Neural Networks）的神經網絡[Ghifary et al.，2014]。DANN 的結構異常簡單，它只由兩層神經元——特征層神經元和分類器層神經元組成。

作者的創新之處在于，在特征層后加入 MMD 適配層，用來計算源域和目標域的距離，并將其加入網絡的損失中進行訓練。但是，由于網絡太淺，表征能力有限，故無法很有效地解決領域自適應問題。

因此，后續的研究者大多都基于其思想進行改進，如將淺層網絡改為更深層的 AlexNet、ResNet、VGG 等，將 MMD 換為多核 MMD 等。

下面將介紹幾種常見的深度網絡自適應方法。

3.2 基本方法

3.2.1 DDC方法

加州大學伯克利分校的 Tzeng 等人首先提出了 DDC（Deep Domain Confusion）方法來解決深度網絡的自適應問題 [Tzeng et al.，2014]。DDC 方法遵循了上面討論過的基本思路，采用了在 ImageNet 數據集上訓練好的 AlexNet 網絡進行自適應學習 [Krizhevsky et al.，2012]。

下圖是 DDC 方法示意圖。

DDC 方法固定了 AlexNet 的前 7 層，在第 8 層（分類器前一層）上加入了自適應的度量。自適應度量方法采用了被廣泛使用的 MMD 準則。

為什么選擇倒數第 2 層？DDC 方法的作者在文章中提到，他們經過多次實驗，在不同的層進行了嘗試，最終發現在分類器前一層加入自適應可以達到最好的效果。這與我們的認知也是相符合的。通常來說，分類器前一層即特征，在特征上加入自適應，也正是遷移學習要完成的工作。

3.2.2 DAN方法

清華大學的龍明盛等人于 2015 年發表在 ICML（Internation Conference on Machine Learning）上的 DAN（Deep Adaptation Networks）方法對 DDC 方法進行了幾個方面的擴展 [Long et al.，2015a]。首先，有別于 DDC 方法只加入一個自適應層，DAN方法同時加入了3個自適應層（分類器前 3 層）。

其次，DAN 方法采用表征能力更好的多核 MMD（MK-MMD）度量來代替 DDC 方法中的單核 MMD [Gretton et al.，2012]。最后，DAN 方法將多核 MMD 的參數學習融入深度網絡的訓練中，并且未額外增加網絡的訓練時間。DAN 方法在多個任務上都取得了比 DDC 方法更好的分類效果。

為什么適配 3 層？原來的 DDC 方法只適配了 1 層，現在 DAN 方法基于 AlexNet網絡，適配最后 3 層（第 6、7、8 層）。因為 Jason 在文獻 [Yosinski et al.，2014] 中已經提出，網絡的遷移能力從這3層開始就會有特定的任務傾向，所以要著重適配這 3 層。

至于別的網絡（如 GoogLeNet、VGG 等）是不是適配這3層就需要通過自己的實驗來驗證，要注意的是 DAN 方法只關注 AlexNet。DAN 方法示意圖如下。

3.2.3 同時遷移領域和任務的方法

DDC 方法的作者 Tzeng 在 2015 年擴展了 DDC 方法，提出了領域和任務同時遷移的方法 [Tzeng et al.，2015]。他提出網絡要進行兩部分遷移。

一是域遷移（Domain Transfer），尤其指適配邊緣分布，但沒有考慮類別信息。域遷移就是在傳統深度網絡的損失函數上，再加一個混淆損失（Confusion Loss）函數，兩個損失函數一起計算。

二是任務遷移（Task Transfer），就是利用類別之間的相似度進行不同任務間的學習。舉個類別之間相似度的例子：杯子與瓶子更相似，而它們與鍵盤不相似。

現有的深度遷移學習方法通常都只考慮域遷移，而沒有考慮類別之間的信息。如何把域遷移和任務遷移結合起來，是一個需要研究的問題。

Tzeng 針對目標任務的部分類別有少量標簽，剩下的類別無標簽的情況，提出名為域遷移和任務遷移的聯合 CNN 體系結構（Joint CNN Architecture For Domain and Task Transfer）。其最大的創新之處在于，提出現有的方法都忽略了類別之間的聯系，并提出在現有損失函數的基礎上還要再加一個軟標簽損失（Soft Label Loss）函數。

意思就是在源域和目標域進行適配時，也要根據源域的類別分布情況來調整目標域。相應地，他提出的方法就是把這兩個損失函數結合到一個新的 CNN 網絡上，這個 CNN 是基于 AlexNet 修改而來的。總的損失函數由 3 部分組成，第 1 部分是普通訓練的損失函數，第 2 部分是域自適應的損失函數，第 3 部分是目標域上的軟標簽損失函數。

下圖為同時遷移領域和任務的方法示意圖。

該網絡由 AlexNet 修改而來，前面幾層無變化，區別是在 fc7 層后面加入了一個域分類器，在該層實現域自適應，在 fc8 層后計算網絡的損失函數和軟標簽損失函數。

那么什么是軟標簽損失？

軟標簽損失就是不僅要適配源域和目標域的邊緣分布，還要把類別信息考慮進去。具體做法如下，在網絡對源域進行訓練時，把源域中的每一個樣本處于每一個類的概率都記下來，然后，對于所有樣本，屬于每一個類的概率就可以通過先求和再求平均數得到。下為軟標簽損失示意圖。這樣做的目的是，根據源域中的類別分布關系，來對目標域做相應的約束。

3.2.4 JAN方法

DAN 方法的作者龍明盛 2017 年在 ICML 上提出了 JAN（Joint Adaptation Networks）方法 [Long et al.，2017]，在深度網絡中同時進行聯合分布的自適應和對抗學習。JAN 方法將只對數據進行自適應的方式推廣到了對類別的自適應上，提出了 JMMD 度量（Joint MMD）。下為 JAN 方法示意圖。

3.2.5 AdaBN方法

與上述研究選擇在已有網絡層中增加適配層不同，北京大學的 H Li 和圖森科技的 N Wang 等人提出了 AdaBN（Adaptive Batch Normalization）方法 [Li et al.，2018]，其通過在歸一化層加入統計特征的適配來完成遷移。下圖是 AdaBN 方法示意圖。

AdaBN 方法與其他方法相比，實現起來相當簡單，不帶有任何額外的參數，在許多公開數據集上都取得了很好的效果。

深度對抗網絡遷移

?

生成對抗網絡 GAN（Generative Adversarial Nets）是目前人工智能領域的研究熱點之一 [Goodfellow et al.，2014]，它被深度學習領軍人物 Yann LeCun 評為近年來最令人欣喜的成就。由此發展而來的對抗網絡，也成為提升網絡性能的利器。本節介紹深度對抗網絡用于解決遷移學習的基本思路及其代表性研究成果。

4.1 基本思路

GAN 受博弈論中的二人零和博弈（Two-Player Game）思想的啟發而提出。它包括兩部分：生成網絡（Generative Network），負責生成盡可能逼真的樣本，被稱為生成器（Generator）；判別網絡（Discriminative Network），負責判斷樣本是否真實，被稱為判別器（Discriminator）。生成器和判別器互相博弈，就完成了對抗訓練。

GAN 的目標很明確，就是生成訓練樣本，這似乎與遷移學習的大目標有些許出入。然而，由于在遷移學習中天然存在一個源域和一個目標域，因此，我們可以免去生成樣本的過程，而直接將其中一個領域的數據（通常是目標域）當作生成的樣本。

此時，生成器的職能發生變化，不再生成新樣本，而去扮演特征提取的功能——不斷學習領域數據的特征，使判別器無法對兩個領域進行分辨。這樣，原來的生成器也可以稱為特征提取器（Feature Extractor）。

通常用 來表示特征提取器，用 來表示判別器。

正是基于這樣的領域對抗思想，深度對抗網絡可以被很好地應用到遷移學習問題中。

與深度網絡自適應遷移方法類似，深度對抗網絡的損失函數也由兩部分構成：網絡訓練損失函數?和領域判別損失函數?，如下所示。

4.2 核心方法

4.2.1 DANN方法

Yaroslav Ganin 等人首先在遷移學習中加入了對抗機制，并將他們的網絡稱為 DANN（Domain-Adversarial Neural Networks）方法 [Ganin et al.，2016]。在此研究中，網絡的學習目標是，生成的特征盡可能幫助區分兩個領域的特征，同時使判別器無法對兩個領域的差異進行判別。該方法的領域對抗損失函數表示為：

其中

4.2.2 DSN方法

來自 Google Brain 的 Bousmalis 等人提出 DSN（Domain Separation Networks）方法對 DANN 進行了擴展 [Bousmalis et al.，2016]。DSN 方法認為，源域和目標域都由兩部分構成：公共部分和私有部分。公共部分可以學習公共的特征，私有部分用來保持各個領域獨立的特性。DSN 方法進一步對損失函數進行了定義。

其具體含義如下。

??為網絡常規訓練的損失函數。

??為重構損失函數，確保私有部分仍然對學習目標有作用。

??公共部分與私有部分的差異損失函數。

??源域和目標域公共部分的相似性損失函數。

如下是 DSN 方法示意圖。

4.2.3 SAN方法

清華大學龍明盛等人 2018 年發表在 CVPR（Computer Vision and Pattern Recognition）上的文章提出了部分遷移學習（Partial Transfer Learning）。作者認為，在大數據時代，通常我們會有大量的源域數據。這些源域數據與目標域數據相比，在類別上通常更為豐富。

例如，基于 ImageNet 訓練的圖像分類器，必然是針對幾千個類別進行的分類。在實際應用時，目標域往往只是其中的一部分類別。這樣就會帶來一個問題：那些只存在于源域中的類別在遷移時，會對遷移結果產生負遷移影響。這種情況是非常普遍的，因此，就要求相應的遷移學習方法能夠對目標域選擇相似的源域樣本（類別），同時也要避免負遷移。

但是目標域通常是沒有標簽的，因此我們并不知道它和源域中哪個類別更相似。作者稱這個問題為部分遷移學習（Partial Transfer Learning）。Partial 即只遷移源域中和目標域相關的那部分樣本。

下圖展示了部分遷移學習示意圖。

作者提出了名為選擇性對抗網絡（Selective Adversarial Networks，SAN）的方法來處理選擇性遷移問題 [Cao et al.，2017]。在該問題中，傳統的對抗網絡不再適用。所以需要對其進行一些修改，使它能夠適用于選擇性遷移問題。

《深度學習500問：AI工程師面試寶典》

主編｜談繼勇?

副主編｜郭子釗、李劍、佃松宜

• Github 標星4.2萬的火爆之作

• 歷時3年，融合產學研的精心制作

• 集百家所長，凝聚了眾多一線科研人員及工程師的經驗

• 讓你不再因為缺乏基礎知識而對深度學習望而卻步

• 細化問題，助你面試查漏補缺，重點突破

• 兼具廣度與深度，深度學習知識框架的全景圖呈現

本書凝聚了眾多一線科研人員及工程師的經驗，旨在培養讀者發現問題、解決問題、擴展問題的能力。本書內容取材于編者在日常學習過程中總結的知識點及各大公司常見的筆試、面試題。是一本兼具廣度與深度的著作。

新書活動限時5折

（掃碼了解本書詳情）

來說說你對這本書的期待吧

小編將從在看丨留言丨分享至朋友圈的三連讀者中

抽取 10 位訂閱號常讀用戶

送出這本 AI 工程師面試寶典

活動截止時間為 1?月 27?日 14:00

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結

以上是生活随笔為你收集整理的文末送书丨深度迁移学习方法的基本思路的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。