1、頻率學(xué)派和貝葉斯派

頻率學(xué)派認(rèn)為參數(shù)是固定而未知的，關(guān)心似然函數(shù)。

貝葉斯派認(rèn)為參數(shù)是隨機的有分布的，關(guān)心后驗分布。

2、MLE、MAP公式

3、參數(shù)估計-MLE

4、參數(shù)估計-MAP

MAP與MLE最大的不同在于p(參數(shù))項，MAP將先驗知識加入，優(yōu)化損失函數(shù)。

5、MLE、MAP、Bayesian統(tǒng)一理解

ML（最大似然估計）：給定一個模型的參數(shù)，然后試著最大化p(D|參數(shù))。即給定參數(shù)的情況下，看到樣本集的概率。目標(biāo)是找到使前面概率最大的參數(shù)。邏輯回歸都是基于ML做的。MLE不把先驗知識加入模型中。

MAP（最大后驗估計）：最大化p(參數(shù)|D)。

Bayesian：考慮了所有可能的參數(shù)，即所有的參數(shù)空間（參數(shù)的分布）。

MLE和MAP的目標(biāo)都是一樣的：找到一個最優(yōu)解，然后用最優(yōu)解做預(yù)測。貝葉斯模型會給出對參數(shù)的一個分布，比如對模型的參數(shù), 假定參數(shù)空間里有參數(shù)1、參數(shù)2、 參數(shù)3、...、參數(shù)N，貝葉斯模型學(xué)出來的就是這些參數(shù)的重要性（也就是分布），然后當(dāng)我們對新的樣本預(yù)測的時候，就會讓所有的模型一起去預(yù)測，但每個模型會有自己的權(quán)重（權(quán)重就是學(xué)出來的分布）。最終的決策由所有的估計根據(jù)其權(quán)重做出決策。

5、從統(tǒng)計學(xué)角度理解機器學(xué)習(xí)，不無三要素：特征工程、目標(biāo)函數(shù)、模型學(xué)習(xí)，機器學(xué)習(xí)的本質(zhì)是用計算機統(tǒng)計地估計復(fù)雜函數(shù)。

定義假設(shè)空間（Model assumption）：如線性分類，線性回歸，邏輯回歸，SVM，深度學(xué)習(xí)網(wǎng)絡(luò)等。

定義損失函數(shù)（目標(biāo)函數(shù)）并優(yōu)化求解（如：梯度下降，牛頓法等）。

不同的模型使用不同的算法，如邏輯回歸通常用梯度下降法解決，神經(jīng)網(wǎng)絡(luò)用反向推導(dǎo)解決，貝葉斯模型則用MCMC來解決。

機器學(xué)習(xí) = 模型 + 優(yōu)化（不同算法）

參考:

https://www.cnblogs.com/shixisheng/p/7136890.html

http://www.cnblogs.com/little-YTMM/p/5399532.html

總結(jié)

以上是生活随笔為你收集整理的最大似然估计MLE和最大后验估计MAP理解的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。