1.均勻分布

均勻分布是關(guān)于定義在區(qū)間[a,b](a<b)上連續(xù)變量的簡單概率分布，其概率密度函數(shù)如下圖所示。

均勻分布的概率密度函數(shù)

若變量x服從均勻分布U(x | 0,1)且a<b,則a+(b-a)x服從均勻分布U(x | a,b).

概率密度函數(shù)、期望、方差

2.伯努利分布

伯努利分布是關(guān)于布爾變量x ∈ {0,1}的概率分布，其連續(xù)參數(shù) μ ∈ [0,1]表示x=1的概率。

伯努利分布概率密度函數(shù)

伯努利分布期望、方差

3.二項(xiàng)分布

二項(xiàng)分布用以描述N次獨(dú)立的伯努利實(shí)驗(yàn)中有m次成功（即x=1）的概率，其中每次伯努利實(shí)驗(yàn)成功的概率為μ ∈ [0,1]。當(dāng)N=1時(shí)，二項(xiàng)分布退化為伯努利分布。

二項(xiàng)分布的概率密度函數(shù)、期望、方差

4.多項(xiàng)分布

將伯努利分布由單變量擴(kuò)展為d維向量x，其中

且 ,并假設(shè) 取1的概率為 ， ，則將得到離散概率分布，

在此基礎(chǔ)上擴(kuò)展二項(xiàng)分布則得到多項(xiàng)分布，它描述了在N次獨(dú)立實(shí)驗(yàn)中有

次 的概率。

多項(xiàng)分布的概率密度函數(shù)、期望、方差、協(xié)方差

5.貝塔分布

貝塔分布是關(guān)于連續(xù)變量

的概率分布，它由兩個(gè)參數(shù)a>0和b>0確定，其概率密度函數(shù)如下圖所示。

貝塔分布的概率密度函數(shù)

其中

為Gamma函數(shù) ，B(a,b)為Beta函數(shù) ,當(dāng)a=b=1時(shí)，貝塔分布退化為均勻分布.

6.狄利克雷分布

狄利克雷分布是關(guān)于一組d個(gè)連續(xù)變量

的概率分布， .令 ,參數(shù) , , 。當(dāng)d=2時(shí)，狄利克雷分布退化為貝塔分布。

狄利克雷分布概率、期望、方差、協(xié)方差

7.高斯分布

高斯分布亦稱正太分布，是應(yīng)用最為廣泛的連續(xù)概率分布。對于單變量

,高斯分布的參數(shù)為均值 和方差 . 下圖給出了在幾組不同參數(shù)下高斯分布的概率密度函數(shù)。

高斯分布的概率密度函數(shù)

對于d維向量x,多元高斯分布的參數(shù)為d維均值向量

和 d d的對稱正定協(xié)方差矩陣 。

8.共軛分布

假設(shè)變量x服從分布

，其中 為參數(shù)， 為變量x的觀測樣本，假設(shè)參數(shù) 服從先驗(yàn)分布 和抽樣分布 決定的后驗(yàn)分布 與 是同種類型的分布，則稱先驗(yàn)分布 為分布 或 的共軛分布。

例如，假設(shè)

, 為觀測樣本， 為觀測樣本的均值， ，其中a,b為已知參數(shù)，則 的后驗(yàn)分布亦為貝塔分布，其中 ,

，這意味著貝塔分布與伯努利分布共軛。類似可知，多項(xiàng)式分布的共軛分布是狄利克雷分布，而高斯分布的共軛分布仍然是高斯分布。

9.KL散度

KL散度，亦稱相對熵或者信息散度，可用于度量兩個(gè)概率分布之間的差異。給定兩個(gè)概率分布P和Q，兩者之間的KL散度定義為

，其中p(x)和q(x)分別為P和Q的概率密度函數(shù)。 創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的c# 标准正太分布函数_机器学习中常见的几种概率分布的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。