1、泛化能力

概念：在機(jī)器學(xué)習(xí)方法中，泛化能力通俗來講就是指學(xué)習(xí)到的模型對(duì)未知數(shù)據(jù)的預(yù)測能力。在實(shí)際情況中，我們通常通過測試誤差來評(píng)價(jià)學(xué)習(xí)方法的泛化能力。如果在不考慮數(shù)據(jù)量不足的情況下出現(xiàn)模型的泛化能力差，那么其原因基本為對(duì)損失函數(shù)的優(yōu)化沒有達(dá)到全局最優(yōu)。

舉個(gè)例子：

? 高中生每天各種做題，五年高考三年模擬一遍遍的刷，為的什么，當(dāng)然是想高考能有個(gè)好成績。高考試題一般是新題，誰也沒做過，平時(shí)的刷題就是為了掌握試題的規(guī)律，能夠舉一反三、學(xué)以致用，這樣面對(duì)新題時(shí)也能從容應(yīng)對(duì)。這種規(guī)律的掌握便是泛化能力，有的同學(xué)很聰明，考上名校，很大程度上是該同學(xué)的泛化能力好。

? 考試成績差的同學(xué)，有這三種可能：一、泛化能力弱，做了很多題，始終掌握不了規(guī)律，不管遇到老題新題都不會(huì)做；二、泛化能力弱，做了很多題，只會(huì)死記硬背，一到考試看到新題就蒙了；三、完全不做題，考試全靠瞎蒙。機(jī)器學(xué)習(xí)中，第一類情況稱作欠擬合，第二類情況稱作過擬合，第三類情況稱作不收斂。

機(jī)器學(xué)習(xí)的目標(biāo)是對(duì)從真實(shí)概率分布（已隱藏）中抽取的新數(shù)據(jù)做出良好預(yù)測。遺憾的是，模型無法查看整體情況；模型只能從訓(xùn)練數(shù)據(jù)集中取樣。如果某個(gè)模型在擬合當(dāng)前樣本方面表現(xiàn)良好，那么你如何相信該模型也會(huì)對(duì)從未見過的樣本做出良好預(yù)測呢？

奧卡姆剃刀定律在機(jī)器學(xué)習(xí)方面的運(yùn)用如下：

• 機(jī)器學(xué)習(xí)模型越簡單，良好的實(shí)證結(jié)果就越有可能不僅僅基于樣本的特性。

現(xiàn)今，我們已將奧卡姆剃刀定律正式應(yīng)用于統(tǒng)計(jì)學(xué)習(xí)理論和計(jì)算學(xué)習(xí)理論領(lǐng)域。這些領(lǐng)域已經(jīng)形成了泛化邊界，即統(tǒng)計(jì)化描述模型根據(jù)以下因素泛化到新數(shù)據(jù)的能力：

• 模型的復(fù)雜程度
• 模型在處理訓(xùn)練數(shù)據(jù)方面的表現(xiàn)

2、泛化誤差

根據(jù)PAC理論：

? 泛化誤差可以直觀理解為以e指數(shù)的形式正比于假設(shè)空間的復(fù)雜度，反比于數(shù)據(jù)量的個(gè)數(shù)。就是數(shù)據(jù)量越多，模型效果越好，模型假設(shè)空間復(fù)雜度越簡單，模型效果越好。

3、提高泛化能力

提高泛化能力的方式大致有三種：1.增加數(shù)據(jù)量。2.正則化。3.凸優(yōu)化。

總得來說：

泛化能力可以認(rèn)為就是舉一反三的能力。

總結(jié)

以上是生活随笔為你收集整理的泛化能力的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。