用熵來評價整個隨機變量平均的信息量，而平均最好的量度就是隨機變量的期望 ，即熵的定義如下：

計算字符的信息熵，參考代碼如下：

package sk.ann;import java.util.Scanner;public class InfoEntropy {public static double Entropy(String str) {double H = .0;int sum = 0;int[] letter = new int[26];//26個字符str = str.toUpperCase(); // 將小寫字母轉(zhuǎn)換成大寫for (int i = 0; i < str.length(); i++) { // 統(tǒng)計字母個數(shù)char c = str.charAt(i);if (c >= 'A' && c <= 'Z') {letter[c - 'A']++;sum++;}}//計算信息熵，將字母出現(xiàn)的頻率作為離散概率值for (int i = 0; i < 26; i++) {double p = 1.0 * letter[i] / sum;//單個字母的頻率if (p > 0)H += -(p * Math.log(p) / Math.log(2));// H = -∑Pi*log2(Pi) }return H;}public static void main(String[] args) {System.out.println("請輸入字符串：");Scanner scan = new Scanner(System.in);String str = scan.next();double H = Entropy(str);System.out.printf("%4.2f\n", H);} }
執(zhí)行結(jié)果：

請輸入字符串： are you ok!yes i am ok! 1.58

總結(jié)

以上是生活随笔為你收集整理的机器学习知识点(一)文本字符信息熵Java实现的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。