基于模型的遷移學(xué)習(xí)可以簡單理解為就是基于模型參數(shù)的遷移學(xué)習(xí)，如何使我們構(gòu)建的模型可以學(xué)習(xí)到域之間的通用知識。

1. 基于共享模型成分的遷移學(xué)習(xí)

在模型中添加先驗知識。

1.1 利用高斯過程的遷移學(xué)習(xí)

正態(tài)分布的概率函數(shù)的均值為

, 方差為 :

復(fù)習(xí)：如果一個隨機(jī)變量

服從這個分布，寫作 , 如果均值為0，方差為1，則簡化成：

設(shè)有標(biāo)簽的數(shù)據(jù)集

，定義 隱變量 的高斯先驗：

. 是協(xié)方差函數(shù)，或者說核函數(shù)。接下來的事同樣也是構(gòu)建似然函數(shù)，然后解答(借這個協(xié)方差矩陣)。

1.2 利用貝葉斯模型的知識遷移

顧名思義，還是逃不開貝葉斯的應(yīng)用啊！

1.3 利用深度模型的模型遷移

知識蒸餾，也稱為軟標(biāo)簽。在基于模型的遷移學(xué)習(xí)中，通過計算類別

所有源樣本的激勵函數(shù)的 平均值，可以提取類別 的軟標(biāo)簽 . 基于軟標(biāo)簽的類別間關(guān)系知識的損失定義如下：

到底軟標(biāo)簽什么意思呢？其實很簡單，舉個例子我們的軟標(biāo)簽

是一個 維向量，就是有 個類別，那么 水杯的類別可能就有：外觀，顏色，長度，價錢等等。我們計算每一個類別的輸出，經(jīng)過softmax看一下那個權(quán)重占比是最大的。同樣地我們可以看看bottle和cup，chair輸出是多少，一對比就知道是杯子與瓶子更貼近。

2. 基于正則化的遷移

如何通過正則化來對共享知識進(jìn)行遷移？

模型中標(biāo)準(zhǔn)的正則化形式：

這個式子表明該正則化使用正則權(quán)重 正則化 . 其中 . 利用任務(wù)間的不變特征(模型遷移學(xué)習(xí)中被遷移的部分、源域模型中的任務(wù)無關(guān)參數(shù))，提高目標(biāo)模型的泛化性能。

2.1 基于SVM的正則化

俠肝義膽陳浩天：SVM原理簡單推導(dǎo)?zhuanlan.zhihu.com

在此基礎(chǔ)上加上正則項進(jìn)行優(yōu)化。

2.3 Fine tune

往期文章：

俠肝義膽陳浩天：《遷移學(xué)習(xí)》第二章總結(jié)---基于樣本的遷移學(xué)習(xí)

俠肝義膽陳浩天：《遷移學(xué)習(xí)》第三章總結(jié)---基于特征的遷移學(xué)習(xí)

與50位技術(shù)專家面對面20年技術(shù)見證，附贈技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的平潭迁移库是什么意思_迁移学习》第四章总结---基于模型的迁移学习的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。