1.前言

在面對某一領域的具體問題時，通?？赡軣o法得到構建模型所需規(guī)模的數(shù)據(jù)。然而在一個模型訓練任務中針對某種類型數(shù)據(jù)獲得的關系也可以輕松地應用于同一領域的不同問題。這種技術也叫做遷移學習（Transfer Learning）。

Qiang Yang、Sinno Jialin Pan，“A Survey on Transfer Learning”，IEEE Transactions on Knowledge & Data Engineering，vol. 22, no. , pp. 1345–1359, October 2010, doi:10.1109/TKDE.2009.191

2.區(qū)分監(jiān)督學習、半監(jiān)督學習、遷移學習、自我學習

舉一個經(jīng)典的例子，分離大象和犀牛。

對于監(jiān)督學習，我們手頭有大量大象的樣本和犀牛的樣本，接下來訓練分類器，進行分類，大家都知道的。

對于遷移學習，則是指我們手頭上有大量羊的樣本和馬的樣本（已標記），少量的大象和犀牛的樣本，接下來就要從羊和馬的樣本中選出有效的樣本分別加入到大象和犀牛的標記樣本中，然后再用監(jiān)督學習的方法訓練分類器。

對于半監(jiān)督學習，則是手上僅有少量大象和犀牛的已標記樣本，另外有一堆大象和犀牛沒有標記的數(shù)據(jù)（注意它們中要么是大象要么是犀牛，沒有其他物種）。半監(jiān)督學習就是利用這些樣本訓練分類器，實現(xiàn)分類。

對于自我學習，同樣是手上僅有少量大象和犀牛的已標記樣本，另外有一大堆自然圖像。所謂自然圖像，就是有大象和犀牛的圖片，還有各種其他物種的圖片。自我學習比半監(jiān)督學習更適合實際場景-----哪有一堆只有大象和犀牛的圖片給你呢？而自然圖像的來源更加廣泛，可以從互聯(lián)網(wǎng)上隨便下載。

3.遷移學習

借助遷移學習技術，我們可以直接使用預訓練過的模型，這種模型已經(jīng)通過大量容易獲得的數(shù)據(jù)集進行過訓練（雖然是針對完全不同的任務進行訓練的，但輸入的內容完全相同，只不過輸出的結果不同）。 隨后從中找出輸出結果可重用的層。我們可以使用這些層的輸出結果充當輸入，進而訓練出一個所需參數(shù)的數(shù)量更少，規(guī)模也更小的網(wǎng)絡。這個小規(guī)模網(wǎng)絡只需要了解特定問題的內部關系，同時已經(jīng)通過預培訓模型學習過數(shù)據(jù)中蘊含的模式。通過這種方式，即可將經(jīng)過訓練檢測貓咪的模型重新用于再現(xiàn)梵高的畫作。
遷移學習技術的另一個重大收益在于可以對模型進行完善的“通用化”。大型模型往往會與數(shù)據(jù)過度擬合（Overfit），例如建模所用數(shù)據(jù)量遠遠超過隱含的現(xiàn)象數(shù)量，在處理未曾見過的數(shù)據(jù)時效果可能不如測試時那么好。由于遷移學習可以讓模型看到不同類型的數(shù)據(jù)，因此可以習得更出色的底層規(guī)則。

4.遷移學習的真實案例

4.1圖像識別

4.2對象檢測

4.3文字識別

遷移學習實現(xiàn)過程中的難點:
雖然可以用更少量的數(shù)據(jù)訓練模型，但該技術的運用有著更高的技能要求。只需要看看上述例子中硬編碼參數(shù)的數(shù)量，并設想一下要在模型訓練完成前不斷調整這些參數(shù)，遷移學習技術使用的難度之大可想而知。
遷移學習技術目前面臨的問題包括：

• 找到預訓練所需的大規(guī)模數(shù)據(jù)集
• 決定用來預訓練的模型
• 兩種模型中任何一種無法按照預期工作都將比較難以調試
• 不確定為了訓練模型還需要額外準備多少數(shù)據(jù)
• 使用預訓練模型時難以決定在哪里停止
• 在預訓練模型的基礎上，確定模型所需層和參數(shù)的數(shù)量
• 托管并提供組合后的模型
• 當出現(xiàn)更多數(shù)據(jù)或更好的技術后，對預訓練模型進行更新

總結

以上是生活随笔為你收集整理的新兴机器学习算法：迁移学习的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。