（Supervised Learning & Unsupervised Learning）

轉自：http://blog.csdn.net/zb1165048017/article/details/48579677

前言

機器學習分為：監督學習，無監督學習，半監督學習（也可以用hinton所說的強化學習）等。

在這里，主要理解一下監督學習和無監督學習。

監督學習（supervised learning）

從給定的訓練數據集中學習出一個函數（模型參數），當新的數據到來時，可以根據這個函數預測結果。監督學習的訓練集要求包括輸入輸出，也可以說是特征和目標。訓練集中的目標是由人標注的。監督學習就是最常見的分類（注意和聚類區分）問題，通過已有的訓練樣本（即已知數據及其對應的輸出）去訓練得到一個最優模型（這個模型屬于某個函數的集合，最優表示某個評價準則下是最佳的），再利用這個模型將所有的輸入映射為相應的輸出，對輸出進行簡單的判斷從而實現分類的目的。也就具有了對未知數據分類的能力。監督學習的目標往往是讓計算機去學習我們已經創建好的分類系統（模型）。

監督學習是訓練神經網絡和決策樹的常見技術。這兩種技術高度依賴事先確定的分類系統給出的信息，對于神經網絡，分類系統利用信息判斷網絡的錯誤，然后不斷調整網絡參數。對于決策樹，分類系統用它來判斷哪些屬性提供了最多的信息。

常見的有監督學習算法：回歸分析和統計分類。最典型的算法是KNN和SVM。

有監督學習最常見的就是：regression&classification

Regression：Y是實數vector。回歸問題，就是擬合(x,y)的一條曲線，使得價值函數(costfunction) L最小

???

Classification：Y是一個有窮數(finitenumber)，可以看做類標號，分類問題首先要給定有lable的數據訓練分類器，故屬于有監督學習過程。分類過程中cost function l(X,Y)是X屬于類Y的概率的負對數。

其中fi(X)=P(Y=i/X)。

?

無監督學習（unsupervised learning）

輸入數據沒有被標記，也沒有確定的結果。樣本數據類別未知，需要根據樣本間的相似性對樣本集進行分類（聚類，clustering）試圖使類內差距最小化，類間差距最大化。通俗點將就是實際應用中，不少情況下無法預先知道樣本的標簽，也就是說沒有訓練樣本對應的類別，因而只能從原先沒有樣本標簽的樣本集開始學習分類器設計。

非監督學習目標不是告訴計算機怎么做，而是讓它（計算機）自己去學習怎樣做事情。非監督學習有兩種思路。第一種思路是在指導Agent時不為其指定明確分類，而是在成功時，采用某種形式的激勵制度。需要注意的是，這類訓練通常會置于決策問題的框架里，因為它的目標不是為了產生一個分類系統，而是做出最大回報的決定，這種思路很好的概括了現實世界，agent可以對正確的行為做出激勵，而對錯誤行為做出懲罰。

無監督學習的方法分為兩大類：

(1)????一類為基于概率密度函數估計的直接方法：指設法找到各類別在特征空間的分布參數，再進行分類。

(2)????另一類是稱為基于樣本間相似性度量的簡潔聚類方法：其原理是設法定出不同類別的核心或初始內核，然后依據樣本與核心之間的相似性度量將樣本聚集成不同的類別。

利用聚類結果，可以提取數據集中隱藏信息，對未來數據進行分類和預測。應用于數據挖掘，模式識別，圖像處理等。

????PCA和很多deep learning算法都屬于無監督學習。?

兩者的不同點

1.??????有監督學習方法必須要有訓練集與測試樣本。在訓練集中找規律，而對測試樣本使用這種規律。而非監督學習沒有訓練集，只有一組數據，在該組數據集內尋找規律。

2.??????有監督學習的方法就是識別事物，識別的結果表現在給待識別數據加上了標簽。因此訓練樣本集必須由帶標簽的樣本組成。而非監督學習方法只有要分析的數據集的本身，預先沒有什么標簽。如果發現數據集呈現某種聚集性，則可按自然的聚集性分類，但不予以某種預先分類標簽對上號為目的。

3.??????非監督學習方法在尋找數據集中的規律性，這種規律性并不一定要達到劃分數據集的目的，也就是說不一定要“分類”。

這一點是比有監督學習方法的用途要廣。??? 譬如分析一堆數據的主分量，或分析數據集有什么特點都可以歸于非監督學習方法的范疇。

4.??????用非監督學習方法分析數據集的主分量與用K-L變換計算數據集的主分量又有區別。后者從方法上講不是學習方法。因此用K-L變換找主分量不屬于無監督學習方法，即方法上不是。而通過學習逐漸找到規律性這體現了學習方法這一點。在人工神經元網絡中尋找主分量的方法屬于無監督學習方法。?

何時采用哪種方法

? 簡單的方法就是從定義入手，有訓練樣本則考慮采用監督學習方法；無訓練樣本，則一定不能用監督學習方法。但是，現實問題中，即使沒有訓練樣本，我們也能夠憑借自己的雙眼，從待分類的數據中，人工標注一些樣本，并把它們作為訓練樣本，這樣的話，可以把條件改善，用監督學習方法來做。對于不同的場景，正負樣本的分布如果會存在偏移（可能大的偏移，可能比較小），這樣的話，監督學習的效果可能就不如用非監督學習了。

總結

以上是生活随笔為你收集整理的监督学习无监督学习的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。