第2章? ? 感知機

? ? ? ? 感知機是二類分類的線性分類模型，屬于判別模型。

? ? ? ? 輸入：實例的特征向量? ? ? ? 輸出：實例的類別? ? ? ? 取+1、-1兩個值，常表示為{-1，+1}

? ? ? ? 感知機學習的目標在于求出將訓練數據進行線性劃分（將訓練集正實例點和負實例點完全正確分開）的分離超平面。

1.感知機模型

? ? ? ? 導入基于誤分類的損失函數?利用梯度下降法對損失函數進行極小化?得到感知機模型

? ? ? ? 感知機模型的假設空間是定義在特征空間中的所有線性分類模型或線性分類器，也就是函數集合{f|f(x)=w?x+b}

? ? ? ? 感知機的幾何說明：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? w?x+b=0

? ? ? ? 對應于N維特征空間R^n的一個超平面S，其中w是超平面的法向量，b是超平面的截距。

? ? ? ? 其中超平面將特征空間劃分為兩個部分，位于這兩部分的特征向量分別被分為正、負兩類。所以也將超平面S稱為分離超平面

????????

2.感知機學習策略

? ? ? ? 數據集的線性可分性：

? ? ? ? ????????給定一個數據集T={(x1,y1),(x2,y2),(x3,y3),....,(xn,yn)}

? ? ? ? ? ? ? ? ?能夠將數據集的正實例點與負實例點完全正確地劃分到超平面的兩側，即對所有yi=+1，有w?xi+b>0，對所有yi=-1的實例i，有w?xi+b<0，則稱數據集T為線性可分數據集，否則稱數據集T線性不可分

? ? ? ? 感知機學習策略：定義（經驗）損失函數并將損失函數極小化

? ? ? ? 輸入空間N維特征空間R^n中任一點x0到超平面S的距離： ?

?????????其中||w||是范數，誤分類點x1到超平面S的距離為

????????

?????????

? ? ? ? ?誤分類點越少，誤分類點離超平面就越近，損失函數值就越小。

3.感知機學習算法

? ? ? ? ?感知機學習問題轉化為求解損失函數的最優化問題中，最優化的方法是梯度下降法。

? ? ? ? 下面簡要說一下梯度下降法：

????????

? ? ? ? ?感知機學習算法是誤分類驅動的。

????????

? ? ? ? ?感知機學習算法由于采用不同的初值或選取不同的誤分類點，解可以不同，也就是可以有不同的超平面。

????????

? ? ? ? ?文章中為個人學習時的一些簡要筆記，如果想要更好的了解統計學習方法，可以參考b站up主“簡博士”，這個也是我個人在看的。

? ? ? ? B站UP視頻鏈接：【合集】十分鐘 機器學習 系列視頻 《統計學習方法》_嗶哩嗶哩_bilibili

總結

以上是生活随笔為你收集整理的李航——《统计学习方法》（二）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。