上文留下一個問題，正則項(xiàng)到底是如何控制模型復(fù)雜度的？權(quán)值越小模型復(fù)雜度越小？為什么權(quán)值越小模型復(fù)雜度越小？

1、模型與模型復(fù)雜度

在數(shù)據(jù)挖掘或機(jī)器學(xué)習(xí)領(lǐng)域我們常聽到線性回歸模型、邏輯回歸模型、支持向量機(jī)、決策樹、隨機(jī)森林、XGBoost、LightGBM、神經(jīng)網(wǎng)絡(luò)等等，通常這么說是指模型結(jié)構(gòu)不同的模型，這個時候所說的模型既可以是一個確定的模型，也可是一個不確定的模型，或者說是一個已訓(xùn)練好的模型，也可以是一個還未訓(xùn)練的模型。訓(xùn)練好的模型也就是模型參數(shù)已經(jīng)確定了，可以用來預(yù)測了，這是一個確定的，具體的，可用的模型；未訓(xùn)練好的模型也就是模型參數(shù)還沒確定，有待從模型假設(shè)空間中搜索（也就是訓(xùn)練）出一個具體的模型。

一個確定的模型沒有復(fù)雜度的概念，一個權(quán)重為3，偏置為0的一元線性回歸模型和一個權(quán)重為2，偏置為0的一元線性回歸模型，二者的2范數(shù)分別是9和4，難道前者比后者更復(fù)雜？顯然不是。

通常所說的模型復(fù)雜度是指不確定的模型的模型復(fù)雜度。不確定的模型就是模型參數(shù)還沒確定，參數(shù)雖然沒有確定，但是肯定有一個取值范圍，這個取值范圍對應(yīng)了模型的假設(shè)空間，取值范圍越大，假設(shè)空間越大，模型的表達(dá)能力就越強(qiáng)，也就是在假設(shè)空間搜索的時候更有可能搜索到一個過擬合訓(xùn)練集的確定模型。所以模型復(fù)雜度是指非確定模型的假設(shè)空間的大小，假設(shè)空間越大，模型越復(fù)雜。

2、正則項(xiàng)與模型復(fù)雜度

首先放上范數(shù)等值線圖如下：

以右圖中的2范數(shù)為例，通常所說正則項(xiàng)越小即指圖中的圓的半徑越小，半徑越小模型越簡單是指權(quán)值的取值范圍在負(fù)半徑長度到正半徑長度之間，也就是說所有權(quán)值取值范圍長度都為圓的直徑，那么壓縮這個圓的直徑就是在壓縮模型的假設(shè)空間，也就是所謂的模型變得更簡單。

雖然直徑減小可以壓縮假設(shè)空間，但實(shí)際情況幾乎不可能退化到一個點(diǎn)，這樣模型很容易欠擬合，那么權(quán)值的取值為什么一定要在圓內(nèi)？不可以在某個圓環(huán)內(nèi)嗎？

3、貝葉斯概率與正則項(xiàng)

很多資料都只是介紹在目標(biāo)函數(shù)中添加正則項(xiàng)可以控制模型復(fù)雜度，防止過擬合，那第一個想到在目標(biāo)函數(shù)中添加正則項(xiàng)的人是如何想到的？一個如此妙的項(xiàng)應(yīng)該不是一拍腦門就直接加上去的，這后面一定有可以挖的東西。

果然挖到了與貝葉斯概率有關(guān)的最大后驗(yàn)估計與正則項(xiàng)的關(guān)系。在訓(xùn)練集D上求模型參數(shù)可以用最大化后驗(yàn)概率的方式來求解[1, 2]。

即：

取對數(shù)：

如果其中的先驗(yàn)概率服從標(biāo)準(zhǔn)正態(tài)分布，那么

也就是說最大化先驗(yàn)概率就是最小化權(quán)值向量的2范數(shù)，由于是標(biāo)準(zhǔn)正態(tài)分布所以正好是所有權(quán)值趨于0的時候概率最大，也就是說2范數(shù)的權(quán)值取值應(yīng)該在圓內(nèi)并且向圓心靠近。

如果其中的先驗(yàn)概率服從標(biāo)準(zhǔn)拉普拉斯分布，那么

也就是最大化先驗(yàn)概率就是最小化權(quán)值向量的1范數(shù)，由于是標(biāo)準(zhǔn)拉普拉斯分布，所以也是所有權(quán)值趨于0的時候概率最大，也就是說1范數(shù)的權(quán)值取值應(yīng)該在菱形內(nèi)并且向原點(diǎn)靠近。

參考文獻(xiàn)

[1]?https://zhuanlan.zhihu.com/p/55251269

[2]?https://zhuanlan.zhihu.com/p/35356992

往期精彩回顧適合初學(xué)者入門人工智能的路線及資料下載機(jī)器學(xué)習(xí)及深度學(xué)習(xí)筆記等資料打印機(jī)器學(xué)習(xí)在線手冊深度學(xué)習(xí)筆記專輯《統(tǒng)計學(xué)習(xí)方法》的代碼復(fù)現(xiàn)專輯 AI基礎(chǔ)下載機(jī)器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)專輯獲取一折本站知識星球優(yōu)惠券，復(fù)制鏈接直接打開：https://t.zsxq.com/yFQV7am本站qq群1003271085。加入微信群請掃碼進(jìn)群：

總結(jié)

以上是生活随笔為你收集整理的【机器学习基础】一文说透正则项与模型复杂度的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。