一、【先驗概率 f(x)】 -- “由因求果" 中的 "因" 出現的概率。先驗概率可理解為統計概率。
???????? 沒有數據支持下發生x的概率。如：全國姓李的人的概率。是指根據以往經驗和分析得到的概率，如全概率公式，它往往作為 "由因求果" 問題中的 "因" 出現的概率。
????? （2）在貝葉斯統計中，先驗概率分布，即關于某個變量 X 的概率分布，是在獲得某些信息或者依據前，對 X 之不確定性所進行的猜測。這是對不確定性（而不是隨機性）賦予一個量化的數值的表征，這個量化數值可以是一個參數，或者是一個潛在的變量。
????? （2）先驗概率僅僅依賴于主觀上的經驗估計，也就是事先根據已有的知識的推斷。例如， X 可以是投一枚硬幣，正面朝上的概率，顯然在我們未獲得任何其他信息的條件下，我們會認為 P(X)=0.5；再比如上面例子中的，P(G)=0.4。 二、【后驗概率】 -- 后驗概率可理解為條件概率
????? 后驗概率f(x|y):? 發生y事件情況下發生x的概率，也稱條件概率。如住在李家莊的姓李的概率。
????? 后驗概率是指在得到 “結果” 的信息后重新修正的概率，是 “執果尋因” 問題中的 "果"。
????? （1）事情還沒有發生，求這件事情發生的可能性的大小，是先驗概率。
????? （2）事情已經發生，求這件事情發生的原因是由某個因素引起的可能性的大小，是后驗概率。 后驗概率是關于參數 θ 在給定的證據信息 X 下的概率，即 P(θ|X) 。
?????? 若對比后驗概率和似然函數，似然函數是在給定參數下的證據信息 X 的概率分布，即 P(X|θ) 。
　　我們用 P(θ) 表示概率分布函數，用 P(X|θ) 表示觀測值 X 的似然函數。后驗概率定義為 P(θ|X)=P(X|θ)P(θ) / P(X)，注意這也是貝葉斯定理所揭示的內容。 三、【似然函數】
????????? p(x，θ)是一個有著兩個變量的函數。
???? （1）如果，你將參數θ設為常量，則你會得到一個概率函數（關于分布x的函數）；
???? （2）如果，你將觀測量x設為常量你將得到似然函數（關于參數θ的函數）。
?????? 似然函數和條件概率的函數形式一致，但意義不一樣！！！
?????? （1）似然函數是（給定聯合樣本值x下）關于 (未知) 參數 θ的函數：
?????? 所以從定義上，似然函數和密度函數是完全不同的兩個數學對象：前者是關于分布x的函數，后者是關于參數θ的函數。
?????? 對于結果 x ，在參數集合 θ 上的似然，就是在給定這些參數值的基礎上，觀察到的結果的概率 L(θ|x)=P(x|θ) 。也就是說，似然是關于參數的函數，在參數給定的條件下，對于觀察到的 x 的值的條件分布。 參數的似然定義為在該參數下事件發生的概率。似然值越大，表示在該參數下，事件越有可能發生。似然值越小，在該參數下事件越不可能發生。從這個角度來看，MLE也很好理解了：找到一個參數的估計，使得在該參數估計下，事件發生的可能性最大。
?????? 注意，這里用參數的"似然"而不是參數的"概率"，如之前所說，參數不是隨機變量，不存在概率的說法，用”似然“描述。 似然函數和條件概率密度函數是完全不同的兩個數學對象：前者是關于參量θ的函數，后者是關于分布X的函數。所以這里的等號= 理解為函數值形式的相等。它們不是同一個函數，但是具有相同的函數形式（類似a^x與x^a的關系）. ============
極大似然估計：使得概率密度分布函數最大的那個參數是最佳參數。
極大似然法的思想始于高斯的誤差理論，在各種估計方法中較為優良，它屬于頻率學派的點估計法的一種。
極大似然法的要求分布有參數形式。
極大似然法在數據比較少的時候容易overfit。
============
極大似然估計和貝葉斯估計分別代表了頻率派和貝葉斯派的觀點。 （1）頻率派認為，參數是客觀存在的，只是未知而矣。因此，頻率派最關心極大似然函數，只要參數求出來了，給定自變量X，Y也就固定了，極大似然估計如下所示:
??????? θ MLE =argmax f(θ |x)????? // x為分布的觀測值，θ為待估計的參數
（2）貝葉斯派認為參數也是隨機的，和一般隨機變量沒有本質區別，正是因為參數不能固定，當給定一個輸入分布的觀測值x后，我們不能用一個確定的y表示輸出結果，必須用一個概率的方式表達出來，所以貝葉斯學派的預測值是一個期望值。
????? 最大后驗概率和極大似然估計很像，只是多了一項先驗分布，它體現了貝葉斯認為參數也是隨機變量的觀點，在實際運算中通常通過超參數給出先驗分布。
??????? f(θ |x) = f(x|θ) f(θ)/f(x)
????? 一方面，極大似然估計和最大后驗概率都是參數的點估計。在頻率學派中，參數固定了，預測值也就固定了。最大后驗概率是貝葉斯學派的一種近似手段，因為完全貝葉斯估計不一定可行。
????? 另一方面，最大后驗概率可以看作是對先驗和MLE的一種折衷，如果數據量足夠大，最大后驗概率和最大似然估計趨向于一致，如果數據為0,最大后驗僅由先驗決定。

總結

以上是生活随笔為你收集整理的一大堆概率概念_拔剑-浆糊的传说_新浪博客的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。