?1. 極大似然與最大概率

　　因?yàn)椴皇强瓢喑錾?#xff0c;所以最初接觸極大似然的時(shí)候，總是很奇怪為什么叫極大似然，而不直接叫做最大概率？

　　后來才知道極大似然是用來估計(jì)未知參數(shù)的，而最大概率的表述更適合于已知參數(shù)的情況下，求解出現(xiàn)最大概率的變量的，舉例如下：

　　Max L(θ) =?θ₁x₁+θ₂x₂+θ₃x₃

　　Max P(x)?=?θ₁x₁+θ₂x₂+θ₃x₃

　　Max L(θ)是擁有多組觀測樣本X時(shí)，估計(jì)θ參數(shù)的方法，而Max P(x)正好相反，是已知θ時(shí)，求解什么樣的x出現(xiàn)會(huì)使得P最大。

?

2. ?極大似然與無監(jiān)督

　　弄懂了第一點(diǎn)后，再來看看極大似然與無監(jiān)督有什么關(guān)系。

　　這里的無監(jiān)督即指機(jī)器學(xué)習(xí)中的無監(jiān)督學(xué)習(xí)方法，例如我們知道了一組變量X服從高斯分布(正態(tài)分布)，那么怎么預(yù)估高斯分布中的參數(shù)μ和σ呢？

　　例如：某學(xué)校學(xué)生的“身高”服從高斯分布，越矮越少，越高也越少，只有中間最多，還有考試成績往往也符合高斯分布，中間居多，兩邊偏少，但是我們并不知道μ和σ是多少，也就沒法構(gòu)造出整體分布函數(shù)到底是怎么樣的，那如果某個(gè)學(xué)生問班主任老師我的成績大概排在全省的什么位置？

　　班主任只知道學(xué)校的樣本，并不清楚全省所有人都考得怎么樣，但是他知道無論是學(xué)校的成績還是全省的成績都符合高斯分布，現(xiàn)在怎么預(yù)估出這個(gè)高斯分布呢？

　　由于班主任老師是數(shù)學(xué)老師，他很快就想到了解決辦法，他利用已有的樣本X去預(yù)估高斯分布的參數(shù)μ和σ！

　　用的就是極大似然估計(jì)——Max L(μ, σ)，因?yàn)橐呀?jīng)知道了本校成績x，所以當(dāng)這些成績出現(xiàn)的可能性最大時(shí)，就是成績x最可能吻合的那個(gè)正態(tài)分布，這樣也就找到了未知參數(shù)μ和σ。

　　其實(shí)這就是求無監(jiān)督機(jī)器學(xué)習(xí)方法的一種方式，與求解機(jī)器學(xué)習(xí)模型時(shí)的“解析解”的概念十分相似，但是解析解是一般是在決策函數(shù)是線性函數(shù)時(shí)出現(xiàn)的，而這里使用的模型顯然是概率模型，所以用了極大似然的方法。

　　回到成績分布的問題，假設(shè)機(jī)器學(xué)習(xí)任務(wù)就是要學(xué)習(xí)考試成績的高斯分布函數(shù)的參數(shù)，而且只有變量即觀測樣本，而沒有觀測值——也就是代入變量到高斯分布里的結(jié)果，在這個(gè)例子里是一個(gè)概率值，這個(gè)概率值可以等同于學(xué)生成績所處的分布位置。

　　總結(jié)以上，當(dāng)我們只有部分樣本的觀測值，而沒有標(biāo)注結(jié)果，且知道假設(shè)分布函數(shù)的情況下，可以用極大似然估計(jì)的方式估計(jì)出在這組觀測值下假設(shè)分布函數(shù)的最佳參數(shù)。

　　

相關(guān)資料：

　　最大似然估計(jì)正態(tài)分布：http://www.dwz.cn/v25v2

　　最大似然估計(jì)法：http://blog.sciencenet.cn/home.php?mod=space&uid=491809&do=blog&id=400893

?

轉(zhuǎn)載請(qǐng)注明引用自：

　　http://www.cnblogs.com/breakthings/p/4058543.html?

?

轉(zhuǎn)載于:https://www.cnblogs.com/breakthings/p/4058543.html

總結(jié)

以上是生活随笔為你收集整理的极大似然估计(Maximum Likelihood)与无监督的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。