發(fā)現(xiàn)以前學(xué)的東西特別容易忘，還是得騰個(gè)地兒寫一寫，有新的理解會(huì)繼續(xù)補(bǔ)充。

信息等基礎(chǔ)見下面一篇博

http://leijun00.github.io/2014/07/information-theory/

https://www.cnblogs.com/fantasy01/p/4581803.html

相對(duì)熵就是KL散度，表示q分布和p分布有多接近，越小越接近，就是p，q兩者之間的交叉熵減去p自己的熵要越小，說(shuō)明p，q兩者之間的交叉熵就相當(dāng)于是p自己的熵。p，q相同，則就相當(dāng)于是p一個(gè)分布的熵。

H(p,q)即為交叉熵

表示2個(gè)函數(shù)或概率分布的差異性：差異越大則相對(duì)熵越大，差異越小則相對(duì)熵越小，特別地，若2者相同則熵為0。注意，KL散度的非對(duì)稱性。

https://blog.csdn.net/u014465639/article/details/71637477

?

互信息

互信息其實(shí)就是所說(shuō)的信息增益。

https://blog.csdn.net/tsyccnh/article/details/79163834

http://www.cnblogs.com/ooon/p/5707889.html

等有時(shí)間再?gòu)氐渍硪幌?/p>

總結(jié)

以上是生活随笔為你收集整理的【机器学习基础知识】各类熵总结的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。