Lecture 3

課程內(nèi)容記錄：（上）https://zhuanlan.zhihu.com/p/20918580?refer=intelligentunit

? ? ? ? ? ? ? ? ? ? ? ? ?（中）https://zhuanlan.zhihu.com/p/20945670?refer=intelligentunit

? ? ? ? ? ? ? ? ? ? ? ? ?（下）https://zhuanlan.zhihu.com/p/21102293?refer=intelligentunit

1．線性分類器（linear classifer）：

我們總是希望得到一個函數(shù)f(x,w)，即評分函數(shù)（score function），x代表輸入數(shù)據(jù)，往往是圖像的numpy矩陣，w是權(quán)重或者一些參數(shù)，而整個函數(shù)的結(jié)果對應(yīng)預(yù)測值的一維Numpy矩陣，矩陣中數(shù)值最大的預(yù)測值代表概率最高的預(yù)測對象。我們可以去利用充分地想象力改變f，已得到盡可能高效準(zhǔn)確的預(yù)測結(jié)果，最簡單的f就是乘積的形式，也就是線性分類器。

通常我們會添加一個偏置項，他是對應(yīng)預(yù)測結(jié)果數(shù)的一維向量，它對預(yù)測得到的數(shù)據(jù)進(jìn)行偏置，以獲得更具有取向性的結(jié)果（如果你的分類結(jié)果中貓的數(shù)量大于狗，而測試集中貓狗的數(shù)量一致，很可能你的偏置更傾向于貓）。

2．NN和線性分類器的區(qū)別：

NN的訓(xùn)練過程只是將訓(xùn)練集圖片及標(biāo)簽提取出來，預(yù)測過程中找到與預(yù)測對象L1距離最小的訓(xùn)練集圖像，它對應(yīng)的標(biāo)簽類別就是預(yù)測類別。KNN多了一步是找到K個最小圖像進(jìn)行二次投票。

線性分類器需要得到權(quán)重值W和偏置值b，然后相當(dāng)于利用測試圖像去匹配不同類別對應(yīng)的（W,b）組成的模板圖像，最為匹配的則屬于該類別。這樣極大地節(jié)省了測試集測試所需的時間。這時我們所要做的“匹配”過程，是使預(yù)測圖像得到的評分結(jié)果盡可能與訓(xùn)練集中圖像的真實類別一致，即評分函數(shù)在正確的分類位置應(yīng)當(dāng)?shù)玫阶罡叩脑u分。（也就是說通過W，b劃分出分類的特定空間）

3．關(guān)于支持向量機(jī)（SVM：Support Vector Machine）:

支持向量機(jī)的基本模型是在特征空間上找到最佳的分離超平面使得訓(xùn)練集上正負(fù)樣本間隔最大，原用來解決二分類問題的有監(jiān)督學(xué)習(xí)算法，在引入了核方法之后SVM也可以用來解決非線性問題。離分離超平面最近的兩個數(shù)據(jù)點被稱為支持向量（Support Vector）。

參見吳恩達(dá)機(jī)器學(xué)習(xí)課程以及李航《統(tǒng)計學(xué)習(xí)方法》

4．關(guān)于正則化（regularization）:

通過在損失函數(shù)中加入后一項，正則化項，我們對W的值進(jìn)行了制約，希望模型選擇更簡單的W值。這里的“簡單”具體取決于你的模型種類和任務(wù)的規(guī)模。它同樣體現(xiàn)了奧卡姆剃刀的觀點：如果你找到了多個可以解釋結(jié)果的假設(shè)，一般來說我們應(yīng)該選擇最簡約的假設(shè)。因為這樣的假設(shè)魯棒性更好，更適用于全新的測試集?；谶@一思想，我們希望W的值盡量小。這樣我們的損失函數(shù)就具有兩個項，數(shù)據(jù)丟失項（data loss）和正則化項（Regularization）。這里我們用到了一種超參數(shù)λ用以平衡這兩項，稱為正則化參數(shù)。

關(guān)于正則化參數(shù)部分，可以參見吳恩達(dá)課程。

?

一些正則化方法如下圖：

?

對模型進(jìn)行正則化（regulairzation），也就是在損失函數(shù)中加入正則項的主要目的是為了減輕模型的復(fù)雜度，在一定程度上減緩過擬合的速度。

?

5．關(guān)于范數(shù)（norm）:

參見：https://blog.csdn.net/a493823882/article/details/80569888

6．支持向量機(jī)（SVM）和Softmax分類器的對比:

SVM和Softmax是最常用的兩個分類器，Softmax的損失函數(shù)和SVM不同，SVM輸出f(x,W)，我們得到每個分類的對應(yīng)的評分大小。而Softmax的輸出更加直觀，是各分類歸一化后的分類概率。在Softmax分類器中，函數(shù)f(x，W)=Wx的形式保持不變，但分類器將這些評分值視為每個分類的未歸一化的對數(shù)概率，并且將折葉損失（hinge loss）替換成了交叉熵?fù)p失（cross-entropy loss）。

關(guān)于交叉熵的解釋以及兩者區(qū)別的具體例子，以及關(guān)于兩者區(qū)別的一些解釋，課程筆記中講得很好。

注：

關(guān)于softmax對數(shù)取負(fù)的原因：我們將對數(shù)概率指數(shù)化，歸一化之后再取對數(shù)，這時如果結(jié)果越好當(dāng)然概率越高，但我們期望loss應(yīng)該越低才對，所以對結(jié)果取負(fù)。

Softmax Classifier，又稱Multinomial Logistic Regression，多項式邏輯回歸。

7．loss function總結(jié)：

?

轉(zhuǎn)載于:https://www.cnblogs.com/yun-an/p/10146682.html

總結(jié)

以上是生活随笔為你收集整理的Cs231n课堂内容记录-Lecture2-Part2 线性分类的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。