详细解释到底啥是共轭先验(用本科知识来解释)
我們直奔主題。
根據百度百科上的解釋:
如果后驗分布與先驗分布屬于同類(分布簇),則先驗分布與后驗分布被稱為共軛分布,而先驗分布被稱為似然函數的共軛先驗。
上面這個定義有點復雜,我們待會兒再回過頭來看這個定義
P(θ∣x)=P(x∣θ)?P(θ)∫P(x∣θ′)?P(θ′)dθ′P(\theta|x)=\frac{P(x|\theta)·P(\theta)}{\int P(x|\theta')·P(\theta')d\theta'}P(θ∣x)=∫P(x∣θ′)?P(θ′)dθ′P(x∣θ)?P(θ)?
=P(x∣θ)?P(θ)P(x)(這種是書上常見的)=\frac{P(x|\theta)·P(\theta)}{P(x)}\\(這種是書上常見的)=P(x)P(x∣θ)?P(θ)?(這種是書上常見的)
當p來自二項分布中的B(n,p),且θ=p時當p來自二項分布中的B(n,p),且\theta=p時當p來自二項分布中的B(n,p),且θ=p時
上式:
P(p∣x)=P(x∣p)?P(p)P(x)①P(p|x)=\frac{P(x|p)·P(p)}{P(x)}①P(p∣x)=P(x)P(x∣p)?P(p)?①
一、
似然函數(二項分布):
P(x∣p)=P(k∣p)=P(X=k)=B(k:n,p)=Cnk?pk?(1?p)1?k②P(x|p)=P(k|p)=P(X=k)=B(k:n,p)=C_n^k·p^k·(1-p)^{1-k}②P(x∣p)=P(k∣p)=P(X=k)=B(k:n,p)=Cnk??pk?(1?p)1?k②
二、
p的先驗分布(β\betaβ分布),
ppp的先驗分布假設為βββ分布,超參數為α,β\alpha,\betaα,β
(為啥這么假設呢?就是為了剛好和共軛的分布湊一對兒,方便取名,這里的假設可以理解為“當p的先驗分布恰巧為β分布時”):
P(p)=P(p∣α,β)=1B(α,β)pα?1(1?p)β?1③P(p)=P(p|\alpha,\beta)=\frac{1}{B(\alpha,\beta)}p^{\alpha-1}(1-p)^{\beta-1}③P(p)=P(p∣α,β)=B(α,β)1?pα?1(1?p)β?1③
這個P和pP和pP和p可能看著有點暈哈,我稍微解釋下:
所謂的βββ分布,他是“描述概率分布的分布”,可以參考:
https://blog.csdn.net/a358463121/article/details/52562940
我們將②和③代入①中,得到:
P(p∣x)=P(x∣p)?P(p)P(x)x=k時,P(p∣k)=P(k∣p)?P(p)P(k)=1P(k)?Cnk?pk?(1?p)n?k?1B(α,β)pα?1(1?p)β?1=[1P(k)?CnkB(α,β)]?pk+α?1?(1?p)n?k+β?1=[1P(k)?1B(α+k,β+n?k)]?pk+α?1?(1?p)n?k+β?1P(p|x)=\frac{P(x|p)·P(p)}{P(x)}\\ x=k時,\\ P(p|k)=\frac{P(k|p)·P(p)}{P(k)}\\ =\frac{1}{P(k)}·C_n^k·p^k·(1-p)^{n-k} ·\frac{1}{B(\alpha,\beta)}p^{\alpha-1}(1-p)^{\beta-1}\\ =[\frac{1}{P(k)}·\frac{C_n^k}{B(\alpha,\beta)}]·p^{k+\alpha-1}·(1-p)^{n-k+\beta-1}\\ =[\frac{1}{P(k)}·\frac{1}{B(\alpha+k,\beta+n-k)}]·p^{k+\alpha-1}·(1-p)^{n-k+\beta-1}P(p∣x)=P(x)P(x∣p)?P(p)?x=k時,P(p∣k)=P(k)P(k∣p)?P(p)?=P(k)1??Cnk??pk?(1?p)n?k?B(α,β)1?pα?1(1?p)β?1=[P(k)1??B(α,β)Cnk??]?pk+α?1?(1?p)n?k+β?1=[P(k)1??B(α+k,β+n?k)1?]?pk+α?1?(1?p)n?k+β?1
到了這一步,我們回到最初的概念:
選取什么樣的先驗分布 會讓后驗分布與先驗分布具有"相同的數學形式"
如果先驗分布和似然函數可以使得先驗分布和后驗分布有相同的形式,那么就稱先驗分布與似然函數是共軛的
說人話就是:
P(p)P(p)P(p)是啥分布時,根據①計算的得到的P(p∣x)P(p|x)P(p∣x)和P(p)P(p)P(p)長得很相似(長得相似的意思就是共軛)?
當根據①計算的得到的P(p∣x)P(p|x)P(p∣x)和P(p)P(p)P(p)長得很相似時,那么:
(1)先驗分布P(p)P(p)P(p)和P(p∣x)P(p|x)P(p∣x)被稱為共軛分布(即:互為共軛關系)
(2)先驗分布P(p)P(p)P(p)被稱為似然函數P(x∣p)P(x|p)P(x∣p)的共軛先驗。
下面這些概念到底啥意思?
共軛(conjugate):啥意思?就是兩個東西長得很相似,取名叫共軛
A分布是B分布的共軛先驗分布:啥意思?也就是說,這兩個分布互為共軛關系(講人話就是他們的模樣長得很像),A是B的共軛分布,B也是A的共軛分布。
由于A分布同時也是B分布的先驗分布,所以A是B的“共軛、先驗分布”
簡稱:“共軛先驗分布”
共軛先驗分布有啥用?
引用百度百科上的話:
共軛先驗的好處:
主要在于代數上的方便性,可以直接給出后驗分布的封閉形式,否則的話只能數值計算。共軛先驗也有助于獲得關于似然函數如何更新先驗分布的直觀印象。
上面的到底啥意思?說人話:
除非你要搞學術理論(和代數相關的理論),作報告,否則沒啥用。
因為當年出來這個概念的時候,計算機還不發達,手算為了方便校對不同結果的形式,出來這么個概念。
你想啊,你從等式左邊推導到右邊,萬一出錯了呢?出來這么個概念方便你檢查草稿紙上算得對不對。
因為是共軛先驗分布,那么等式左右兩側,你推導的結果,也就是等式的右邊,要大致等于等式的左邊。
總結
以上是生活随笔為你收集整理的详细解释到底啥是共轭先验(用本科知识来解释)的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: maven构建scala工程并最终运行的
- 下一篇: MEP(minimum error pr