?計算信息熵的公式：n是類別數，p(xi)是第i類的概率

假設數據集有m行，即m個樣本，每一行最后一列為該樣本的標簽，計算數據集信息熵的代碼如下：

from math import logdef calcShannonEnt(dataSet):numEntries = len(dataSet) # 樣本數labelCounts = {} # 該數據集每個類別的頻數for featVec in dataSet: # 對每一行樣本currentLabel = featVec[-1] # 該樣本的標簽if currentLabel not in labelCounts.keys(): labelCounts[currentLabel] = 0labelCounts[currentLabel] += 1 shannonEnt = 0.0for key in labelCounts:prob = float(labelCounts[key])/numEntries # 計算p(xi)shannonEnt -= prob * log(prob, 2) # log base 2return shannonEnt

?

總結

以上是生活随笔為你收集整理的Python计算信息熵的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。