學習深度學習時遇見multinoulli分布，在此總結一下機器學習中常用的multinoulli分布與多項式分布之間的區別于關系，以便更好的理解其在機器學習和深度學習中的使用。

首先介紹一下其他相關知識。

Bernoulli分布 （兩點分布）

Bernoulli分布是單個二值隨機變量的分布。它由單個參數控制，給出了隨機變量等于1的概率。

? ? ? ? ? ? ? ? ? ?

? ? ? ? ? ? ? ? ? ?

? ? ? ? ? ? ? ? ? ?

? ? ? ? ? ? ? ? ? ?

? ? ? ? ? ? ? ? ? ?

二項分布（n重Bernoulli分布）

二項分布（binomial distribution）用以描述N次獨立的伯努利實驗中有m次成功（即x=1）的概率，其中每次伯努利實驗成功的概率為。

? ? ? ? ? ? ? ? ??

? ? ? ? ? ? ? ? ??

? ? ? ? ? ? ? ? ? ?

多項分布

若將伯努利分布由單變量擴展為d維向量，其中且,并假設取1的概率為,，則將得到離散概率分布

? ? ? ? ? ? ? ??

? ? ? ? ? ? ? ?

? ? ? ? ? ? ? ??

在此基礎上擴展二項分布則得到多項分布（nultinomial distribution），它描述了在N次獨立實驗中有次的概率。?

? ? ? ? ? ? ? ??

multinoulli分布（范疇分布、分類分布(categotical distribution)）

mutinoulli分布是指在具有k個不同狀態的單個離散型隨機變量上的分布，其中k是一個有限值。?mutinoulli分布由分布向量參數化，其中每一個分量表示第i個狀態的概率。最后的第k個狀態的概率可以通過給出。注意我們必須限制。mutinoulli分布經常用來表示對象分類的分布，所以我們很少假設狀態1具有數值1之類的。因此我們通常不需要去計算mutinoulli分布的隨機變量的期望和方差。

mutinoulli分布是多項式分布的一個特例。多項式分布是中的向量的分布，用于表示當對mutinoulli分布采樣n次時k個類中的每一個被訪問的次數。很多文章使用“多項式分布”而實際上說的是mutinoulli分布，但是他們并沒有說是對（一次實驗）的情況，這點需要注意。大概意思就是說multinouli分布進行一次實驗，得到了各個狀態k的概率分布p，多項分布是重復對multinoulli分布進行n次采樣實驗，看k個類中每一個被采樣到的次數。我覺得很像bernoulli分布與二項分布的關系。（大家有不同想法的可以留言討論！）

參考文獻：

《概率論與數理統計》韓旭里，謝永欽

《機器學習》周志華

《深度學習》Ian GoodFellow

總結

以上是生活随笔為你收集整理的机器学习：Multinoulli分布与多项式分布的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。