處理數據對象:離散型數據
信息計算方式：熵
數據集：西瓜數據集2.0共17條數據
訓練集（用來建立決策樹）：西瓜數據集2.0中的第1,2,3,6,7,10,14,15,16,17,4
請注意，書上說是10條，其實是上面列出的11條。
驗證集（用來對決策樹剪枝）：西瓜數據集2.0中的5,8,9,11,12,13

注意：
上述訓練集和驗證集由書上特指，
不可自己隨意更改建造決策樹的訓練集或剪枝用的驗證集，否則出不來書上的效果

---

詳細的代碼解釋可以直接看代碼中的注釋，本文不再贅述。
代碼鏈接是：

https://github.com/appleyuchi/Decision_Tree_Prune/tree/master/ID3-REP-post_prune-Python-draw

效果如下：
未剪枝書上效果（周志華《機器學習》第81頁）：

代碼運行效果（mode=prev）

---

預剪枝書上效果（周志華《機器學習》第81頁）：

代碼運行效果（mode=prev）：

---

后剪枝書上效果（周志華《機器學習》第83頁）

代碼運行結果（mode=post）

---

以上后剪枝類型為REP（Reduced Error Pruning）,
后剪枝的目的：
提高對驗證集的accuracy以及precision
運行代碼可知：
剪枝前：accuracy=0.33
剪枝后：accuracy=0.66

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的ID3的REP（Reduced Error Pruning）剪枝代码详细解释+周志华《机器学习》决策树图4.5、图4.6、图4.7绘制的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。