【bayes】贝叶斯likelihood和model
1）Likelihood
最大似然估計提供了一種給定觀察數(shù)據(jù)來評估模型參數(shù)的方法，即：“模型已定，參數(shù)未知”。
簡單而言，假設我們要統(tǒng)計全國人口的身高，首先假設這個身高服從
服從正態(tài)分布，但是該分布的均值與方差未知。我們沒有人力與物力去統(tǒng)計全國每個人的身高，但是可以通過采樣，獲取部分人的身高，然后通過最大似然估計來獲
取上述假設中的正態(tài)分布的均值與方差。
??? 最大似然估計中采樣需滿足一個很重要的假設，就是所有的采樣都是獨立同分布的。
下面我們具體描述一下最大似然估計：
??? 首先，假設為獨立同分布的采樣，θ為模型參數(shù),f為我們所使用的模型，遵循我們上述的獨立同分布假設。參數(shù)為θ的模型f產(chǎn)生上述采樣可表示為
???????
回到上面的“模型已定，參數(shù)未知”的說法，此時，我們已知的為，未知為θ，故似然定義為:
?
在實際應用中常用的是兩邊取對數(shù)，得到公式如下：
????
其中稱為對數(shù)似然，而稱為平均對數(shù)似然。而我們平時所稱的最大似然為最大的對數(shù)平均似然，即：
?
?
由上可知最大似然估計的一般求解過程：
（1） 寫出似然函數(shù)；
（2） 對似然函數(shù)取對數(shù)，并整理；
（3） 求導數(shù) ；
（4） 解似然方程
?
Likelihood函數(shù)選擇
對于 同一個模型，likelihood函數(shù)可能有不同的選擇，對于這些選擇，可能有些比較精確、但是會搜索非常大的空間，可能有些比較粗糙，但是速度會比較 快，我們需要選擇不同的likelihood函數(shù)來計算后驗概率。對于這些Likelihood函數(shù)，可能還需要加上一些平滑等技巧來使得最大的降低數(shù)據(jù) 中噪聲、或者假設的缺陷對結(jié)果的影響。
我所理解的用貝葉斯的方法來估計給定數(shù)據(jù)的假設的后驗概率，就是通過prior * likelihood，變換到后驗分布。是一個分布變換的過程。
3) loss function(損失函數(shù))
?
?? x是輸入的數(shù)據(jù)，y(x)是推測出的結(jié)果的模型，t是x對應的真實結(jié)果，L(t,y(x))就是loss function，E[L]表示使用模型y進行預測，使用L作為損失函數(shù)的情況下，模型的損失時多少。通常來說，衡量一個模型是否能夠準確的得到結(jié)果，損 失函數(shù)是最有效的一個辦法，最常用、最簡單的一種損失函數(shù)是：
?
不過我一直不知道為什么這里用的平方，而不是直接用絕對值，有詳細一點的解釋嗎？:-p
4) Model Selection(模型選擇)
前 文說到了對于likelihood函數(shù)可以有不同的選擇，對于先驗的概率也可以有不同的選擇，不過假設我們一個構(gòu)造完整的測試集和一個恰當?shù)膿p失函數(shù)，最 終的結(jié)果將會是確定的，量化的，我們很容易得到兩個不同參數(shù)、方法的模型的優(yōu)劣性。不過通常情況下，我們的測試集是不夠完整，我們的損失函數(shù)也是不那么 的精確，所以對于在這個測試集上表現(xiàn)得非常完美的模型，我們常常可能還需要打一個問號，是否是訓練集和測試集過于相像，模型又過于復雜。導致了over- fitting（后文將會詳細介紹over-fitting的產(chǎn)生）？
?? Model Selection本質(zhì)上來說是對模型的復雜度與模型的準確性做一個平衡，本文后面將有一些類似的例子。
?
?
Example 1：Sequential 概率估計
注：此例子來自PRML chapter 2.1.1
對于概率密度的估計，有很多的方法，其中一種方法叫做Sequential 概率估計。
這種方法是一個增量的學習過程，在每看到一個樣本的時候都是把之前觀測的數(shù)據(jù)作為先驗概率，然后在得到新數(shù)據(jù)的后驗概率后，再把當前的后驗概率作為下一次預測時候的先驗概率。
傳統(tǒng)的二項式分布是：
由于傳統(tǒng)的二項式分布的概率μ是完全根據(jù)先驗概率而得到的，而這個先驗分布之前也提到過，可能會由于實驗次數(shù)不夠而有很大的偏差，而且，我們無法得知μ的分布，只知道一個μ的期望，這樣對于某些機器學習的方法是不利的。為了減少先驗分布對μ的影響，獲取μ的分布，我們加入了兩個參數(shù)，a，b，表示X=0與X=1的出現(xiàn)的次數(shù)，這個取值將會改變μ的分布，beta分布的公式如下：
對于不同a，b的取值，將會對μ的概率密度函數(shù)產(chǎn)生下面的影響：（圖片來自PRML）
在觀測數(shù)據(jù)的過程中，我們可以隨時的利用觀測數(shù)據(jù)的結(jié)果，改變當前μ的先驗分布。我們可以將Beta分布加入兩個參數(shù)，m，l，表示觀測到的X=0，X=1的次數(shù)。（之前的a，b是一個先驗的次數(shù)，不是當前觀測到的）
我們令：
a’，b’表示加入了觀測結(jié)果的新的a，b 。帶入原式，可以得到
我們可以利用觀測后的μ后驗概率更新μ的先驗概率，以進行下一次的觀測，這樣對不時能夠得到新的數(shù)據(jù)，并且需要real-time給出結(jié)果的情況下很有用。不過Sequential方法有對數(shù)據(jù)一個i.i.d（獨立同分布）的假設。要求每次處理的數(shù)據(jù)都是獨立同分布的。
?
原文 http://www.cnblogs.com/LeftNotEasy/archive/2010/09/27/1837163.html
總結(jié)
以上是生活随笔為你收集整理的【bayes】贝叶斯likelihood和model的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 测试Live Writer 发表博客
- 下一篇： 双缓冲技术