Python實現樸素貝葉斯算法

---

1、算法介紹

樸素貝葉斯假設特征相互獨立，于是有下面的公式： x表示特征向量，c表示類別。

原理： 通過數據集計算出公式中右邊分子中的各個概率。預測時根據公式計算出該樣本屬于不同類別的概率，選擇概率大的那個類別作為預測值。

---

2、算法流程

模型中各個概率的計算，看下面代碼中的 trainNB() 函數。

---

3、Python代碼實現及注釋

import numpy as np# 創建數據集 def loadDataSet():# 每個樣本為一段文字postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],['stop', 'posting', 'stupid', 'worthless', 'garbage'],['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]# 1表示不好，0表示好classVec = [0, 1, 0, 1, 0, 1]return postingList, classVec# 從數據集中生成詞匯表 def createVocabList(dataSet):# 創建空集合vocabSet = set([])# 提取數據集中所有的詞匯，不重復for document in dataSet:vocabSet = vocabSet | set(document)return list(vocabSet)# 把文本轉化為特征向量 def setOfWords2Vec(vocabList, inputSet):# 創建特征向量，全0returnVec = [0]*len(vocabList)# 文本中出現的詞匯相應的在特征向量中對應的位置置1for word in inputSet:if word in vocabList:returnVec[vocabList.index(word)] = 1else:print("the word: %s is not in my Vocabulary!" % word)return returnVec# 創建貝葉斯分類器，輸入用特征向量表示的數據集及數據集的標記 def trainNB(trainMatrix,trainCategory):numTrainDocs = len(trainMatrix)numWords = len(trainMatrix[0])# 計算數據集中不好語句的占比pAbusive = sum(trainCategory)/float(numTrainDocs)# 存放不同類別中各詞匯出現的次數p0Num = np.ones(numWords)p1Num = np.ones(numWords)# 存放不同類別中詞匯的總數p0Denom = 2.0p1Denom = 2.0# 遍歷數據集，計算上述四個值for i in range(numTrainDocs):if trainCategory[i] == 1:p1Num += trainMatrix[i]p1Denom += sum(trainMatrix[i])else:p0Num += trainMatrix[i]p0Denom += sum(trainMatrix[i])# 計算不同類別中各詞匯出現的概率p1Vect = np.log(p1Num/p1Denom)p0Vect = np.log(p0Num/p0Denom)return p0Vect, p1Vect, pAbusive# 用樸素的貝葉斯分類 def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):# 計算該樣本屬于不同類別的概率，注意加了一個logp1 = sum(vec2Classify * p1Vec) + np.log(pClass1)p0 = sum(vec2Classify * p0Vec) + np.log(1.0 - pClass1)# 根據概率預測結果if p1 > p0:return 1else:return 0# 把數據集轉換為用特征向量表示樣本的數據集 def getTrainMat(trainSet, myVocabList):trainMat = []for example in trainSet:trainMat.append(setOfWords2Vec(myVocabList, example))return trainMatif __name__ == '__main__':# 加載數據集trainSet, labels = loadDataSet()# 構建詞匯表myVocabList = createVocabList(trainSet)# 得到用特征向量表示樣本的數據集trainMat = getTrainMat(trainSet, myVocabList)# 樸素的貝葉斯分類器得到模型參數p0V, p1V, pAb = trainNB(trainMat, labels)# print(p0V, '\n', p1V, '\n', pAb)# 測試分類器test = ['cute', 'has']testVec = np.array(setOfWords2Vec(myVocabList, test))predict = classifyNB(testVec, p0V, p1V, pAb)print(test, 'be predicted as ', predict)

---

總結

以上是生活随笔為你收集整理的Python实现朴素贝叶斯算法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。