本節(jié)目錄

過擬合

代價函數(shù)

正則化線性回歸

正則化邏輯回歸
1 過擬合問題
正則化技術(shù)可以改善過擬合問題。

第一個模型是一個線性模型，欠擬合，不能很好地適應(yīng)我們的訓(xùn)練集；第三個模型是一
個四次方的模型，過于強調(diào)擬合原始數(shù)據(jù)，而丟失了算法的本質(zhì)：預(yù)測新數(shù)據(jù)。我們可以看
出，若給出一個新的值使之預(yù)測，它將表現(xiàn)的很差，是過擬合，雖然能非常好地適應(yīng)我們的
訓(xùn)練集但在新輸入變量進行預(yù)測時可能會效果不好；而中間的模型似乎最合適。
那我們應(yīng)該如何處理過擬合呢？
1.丟棄一些不能幫助我們正確預(yù)測的特征。可以是手工選擇保留哪些特征，或者使用一
些模型選擇的算法來幫忙（例如 PCA）
2.正則化。 保留所有的特征，但是減少參數(shù)的大小（magnitude）。
2 代價函數(shù)
防止過擬合問題的假設(shè)：


注：根據(jù)慣例，我們不對𝜃0 進行懲罰。經(jīng)過正則化處理的模型與原模型的可能對比如下圖所示：

如果選擇的正則化參數(shù) λ 過大，則會把所有的參數(shù)都最小化了，導(dǎo)致模型變成 ?𝜃(𝑥) = 𝜃0，也就是上圖中紅色直線所示的情況，造成欠擬合。
那為什么增加的一項𝜆 = ∑ 𝜃𝑗 𝑛 2 𝑗=1 可以使𝜃的值減小呢？
因為如果我們令 𝜆 的值很大的話，為了使 Cost Function 盡可能的小，所有的 𝜃 的值
（不包括𝜃0）都會在一定程度上減小。
但若 λ 的值太大了，那么𝜃（不包括𝜃0）都會趨近于 0，這樣我們所得到的只能是一條
平行于𝑥軸的直線。
所以對于正則化，我們要取一個合理的 𝜆 的值，這樣才能更好的應(yīng)用正則化。
3 正則化線性回歸
對于線性回歸的求解，我們之前推導(dǎo)了兩種學(xué)習(xí)算法：一種基于梯度下降，一種基于正
規(guī)方程。
正則化線性回歸的代價函數(shù)為：

如果我們要使用梯度下降法令這個代價函數(shù)最小化，因為我們未對進行正則化，所以梯
度下降算法將分兩種情形：


4 正則化的邏輯回歸模型
我們首先學(xué)習(xí)了使用梯度下降法來優(yōu)化代價函數(shù)𝐽(𝜃)，接下來學(xué)習(xí)了更高級的優(yōu)化算法，這些高級優(yōu)化算法需要你自己設(shè)計代價函數(shù)𝐽(𝜃)。

總結(jié)

以上是生活随笔為你收集整理的吴恩达机器学习笔记四之正则化的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。