交叉熵（Cross Entropy）是Shannon信息論中一個(gè)重要概念，主要用于度量?jī)蓚€(gè)概率分布間的差異性信息。
若P(x)是數(shù)據(jù)的真實(shí)概率分布，q(x)是由數(shù)據(jù)計(jì)算得到的概率分布。機(jī)器學(xué)習(xí)的目的就是希望q(x)盡可能地逼近甚至等于P(x)。對(duì)q(x)的優(yōu)化就等效于求交叉熵的最小值。另外，對(duì)交叉熵求最小值，也等效于求最大似然估計(jì)
交叉熵在單分類(lèi)問(wèn)題中的應(yīng)用

小白都能看懂的softmax詳解

總結(jié)

以上是生活随笔為你收集整理的交叉熵的物理意义及简单公式推导的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。