domain adaptation 领域自适应
領域自適應是遷移學習中轉導遷移學習的重要子問題。
遷移學習是指兩個不同領域的知識遷移過程,利用源領域中學到的知識幫助目標領域上的學習任務。源領域的訓練樣本數量一般遠大于目標領域。
遷移學習根據不同的遷移方式,分為兩個類型,歸納遷移學習和轉導遷移學習。
歸納學習(Inductive Learniing)是希望在訓練數據集上學習到使得期望風險(即真實數據分布上的錯誤率)最小的模型。與傳統監督機器學習一樣,是基于已有標記的訓練數據集構建和訓練機器學習模型,然后使用這個訓練過的模型預測我們測試集的標簽。
轉導學習(Transductive Learning)是希望學習一種在給定測試集上錯誤率最小的模型,在訓練階段可以利用測試集的信息。轉導學習是事先觀察所有數據,包括訓練數據集和測試數據集。從已經觀察到訓練數據集中學習,然后預測測試數據集的標簽。即使不知道測試數據集的標簽,也可在學習過程中利用這些數據中的模式和其他信息。
主要區別:轉導學習中,在訓練模型中已經遇到訓練集和測試集。歸納學習在訓練模型中僅遇到訓練數據集,并將學習到的模型應用于從未見過的數據集上。
轉導不能建立預測模型,如果添加一個新的數據點到測試數據集上,不得不從頭重新運行算法,訓練模型,使用它預測標簽。
歸納學習建立預測模型,當遇到新的數據點時,不需要從頭重新運行算法。
總結來說,歸納學習試圖建立一個通用模型,在這個模型中,任何新的數據點都將基于一組觀察到的訓練數據點進行預測,可以預測點空間中除未標記點之外的任何點。相反,轉導學習是建立一個適合它觀察到的訓練數據點和測試數據點的模型,這種方法利用已知標記點和附加信息來預測未標記點的標記。
歸納遷移學習是指在源領域和任務上學習出一般規律,然后將這個規律遷移到目標領域和任務上,轉導遷移學習是從樣本到樣本的遷移,直接利用原領域和目標領域的樣本進行遷移學習。
轉導遷移學習直接利用源領域和目標領域的樣本進行遷移學習,通常假設源領域有大量標注數據,而目標領域沒有或只有少量的標注數據,但有大量的無標注數據。
轉導遷移學習的一個常見子問題是領域適應domain adaptation。在領域適應問題中,一般假設源領域和目標領域有相同樣本空間,但數據分布不同。
領域自適應的目標是把分布不同的源領域和目標域的數據,映射到一個特征空間中,使其在該空間中的距離盡可能近,由于在特征空間中對源領域訓練的目標函數,就可遷移到目標域上,提高目標域上的準確率。
在遷移學習中使用對抗。
總結
以上是生活随笔為你收集整理的domain adaptation 领域自适应的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 研究任正非
- 下一篇: qwert rfgfgfh