點擊上方“AI有道”，選擇“設為星標”

關鍵時刻，第一時間送達！

紅色石頭每天碎碎念一些機器學習知識和概念，大家一起學習，每天進步一點點！喜歡的話別忘了文末點贊支持一下哦~

如果有一個裝有很多（數量很大數不過來）橙色球和綠色球的罐子，我們能不能推斷橙色球的比例 u？統計學上的做法是，從罐子中隨機取出 N 個球，作為樣本，計算這N 個球中橙色球的比例 v，那么就可以估計出罐子中橙色球的比例約為 v。

這種隨機抽取的做法能否說明罐子里橙色球的比例一定是 v 呢？答案是否定的。但是從概率的角度來說，樣本中的 v 很有可能接近我們未知的 u。當 N 足夠大的時候，v接近于 u。這就是霍夫丁不等式（Hoeffding’s inequality）：

其中，P 表示概率。霍夫丁不等式說明當 N 很大的時候，v 與 u 相差不會很大，它們之間的差值被限定在? 之內。

重點，對應到機器學習中，我們可以令訓練誤差 Ein = v，泛化誤差 Eout = u。那么，當訓練樣本數目足夠多的時候，可以得到相應的霍夫丁不等式：

上面的霍夫丁不等式說明了，選擇合適的足夠訓練樣本，訓練的模型一般能使 Ein 與 Eout 近似相等，即泛化能力較好（除非過擬合）。總的來看，霍夫丁不等式是保證機器可以學習的一個條件！

- End -

總結

以上是生活随笔為你收集整理的机器学习碎碎念：霍夫丁不等式的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。