決策樹和隨機森林

信息熵

• 熵
• 聯合熵
• 條件熵
• 互信息

決策樹學習算法

• 信息增益
• ID3、C4.5、CART
• Bagging與隨機森林

概念部分

思考：兩點分布的信息熵

import numpy as np import matplotlib.pyplot as plt p = np.linspace(0.0000001,1,100) h = -(1-p)*np.log(1-p) - p*np.log(p) plt.plot(p,h) plt.show()

即如果概率都是0.5的信息熵最大，舉個例子如果兩個球隊的獲勝概率都是0.5，那么會有更多的人去 觀看，帶來的

總結

以上是生活随笔為你收集整理的决策树和随机森林（上）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。