一、分類問題

分類實際上是我們在日常生活中經常使用的。比如說，在工作中，把自己手頭的任務分為輕重緩急，然后按照優先級去完成它們。

樸素貝葉斯法是基于貝葉斯定理與特征條件獨立假設的分類方法。

從數學的角度看C={c1,c2,…,ck}是類別的集合，集合X={x1,x2,…,xk}是輸入集合 。這里，對于給定的輸入x計算后驗概率最大的c。

二、概率相關

由

P(X,Y)=P(X|Y)P(Y)=P(Y|X)P(X)
得
P(Y|X)=P(X|Y)P(Y)P(X)（1）

P(X,Y)是X和Y的聯合分布,訓練數據集

T={(x1,y1),(x2,y2),…,(xn,yn)}
是由 P(X,Y)獨立同分布產生的。

三、樸素貝葉斯方法

對于給定的輸入x, 需要輸出y,使得P(Y=ck|X=x)最大。由1式可知，分母是常數，我們使分子的最大化即可。

其中，P(Y=ck),k=1,2,…,K 稱為先驗概率分布。這項可以簡單的求出。

P(X=x|Y=ck)=P(X(1)=x(1),…,X(n)=x(n)|Y=ck)

由于上式有指數型的參數，所以很難估計，為了便于計算，假設輸入向量x的各個特征之間是條件獨立的：
P(X=x|Y=ck)=P(X(1)=x(1),…,X(n)=x(n)|Y=ck)=∏j=1nP(X(j)=x(j)|Y=ck)
這也是樸素貝葉斯名字的來源。

則，最終結果

y=f(x)=argmaxckP(Y=ck)∏j=1nP(X(j)=x(j)|Y=ck)

四、總結

樸素貝葉斯實際上是學到生成數據的機制，即它是生成模型。條件獨立的假設說明分類特征是條件獨立的，這個假設使得計算大大簡化，但是有時也犧牲了一定的準確性。

總結

以上是生活随笔為你收集整理的机器学习笔记（五）——朴素贝叶斯分类的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。