第32節(jié) -正則化之代價函數(shù)(2)

參考視頻: 7 - 2 - Cost Function (10 min).mkv

上面的回歸問題中如果我們的模型是：

我們可以從之前的事例中看出，正是那些高次項導(dǎo)致了過擬合的產(chǎn)生，所以如果我們能讓這些高次項的系數(shù)接近于 0 的話，我們就能很好的擬合了。

所以我們要做的就是在一定程度上減小這些參數(shù)θ 的值，這就是正則化的基本方法。我們決定要減少 θ3 和 θ4 的大小，我們要做的便是修改代價函數(shù)，在其中 θ3 和 θ4 設(shè)置一點懲罰。這樣做的話，我們在嘗試最小化代價時也需要將這個懲罰納入考慮中，并最終導(dǎo)致選擇較小一些的θ3 和 θ4。修改后的代價函數(shù)如下：

通過這樣的代價函數(shù)選擇出的θ3和 θ4對預(yù)測結(jié)果的影響就比之前要小許多。假如我們有非常多的特征，我們并不知道其中哪些特征我們要懲罰，我們將對所有的特征進行懲罰，并且讓代價函數(shù)最優(yōu)化的軟件來選擇這些懲罰的程度。這樣的結(jié)果是得到了一個較為簡單的能防止過擬合問題的假設(shè)：

其中λ 又稱為正則化參數(shù)(Regularization Parameter)。 注：根據(jù)慣例，我們不對 θ0 進行懲罰。經(jīng)過正則化處理的模型與原模型的可能對比如下圖所示：

如果選擇的正則化參數(shù)λ 過大，則會把所有的參數(shù)都最小化了，導(dǎo)致模型變成 hθ(x)=θ0，也就是上圖中紅色直線所示的情況，造成欠擬合。

那為什么增加的一項

可以使 θ 的值減小呢？因為如果我們令λ的值很大的話，為了使 Cost Function 盡可能的小，所有的 θ 的值(不包括θ0)都會在一定程度上減小。但若λ的值太大了，那么θ(不包括 θ0)都會趨近于 0，這樣我們所得到的只能是一條平行于 x 軸的直線。所以對于正則化，我們要取一個合理的λ的值，這樣才能更好的應(yīng)用正則化。回顧一下代價函數(shù)，為了使用正則化，讓我們把這些概念應(yīng)用到到線性回歸和邏輯回歸中去，那么我們就可以讓他們避免過度擬合了。

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的c#怎么拟合函数得到参数_吴恩达老师课程笔记系列第32节 -正则化之代价函数(2)...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。