在前面介紹的《邏輯回歸是個(gè)什么邏輯》中，我們構(gòu)建的邏輯回歸模型是：

P(y=1|x;θ)=11+e?θTx
在模型的數(shù)學(xué)形式確定后，剩下的就是如何去求解模型中的參數(shù) θ。而在已知模型和一定樣本的情況下，估計(jì)模型的參數(shù)，在統(tǒng)計(jì)學(xué)中常用的是極大似然估計(jì)方法。即找到一組參數(shù) θ，使得在這組參數(shù)下，樣本數(shù)據(jù)的似然度（概率）最大。對(duì)于極大似然估計(jì)，可以參考下前期文章《 極大似然估計(jì)》。

對(duì)于邏輯回歸模型，假定的概率分布是伯努利分布，根據(jù)伯努利分布的定義，其概率質(zhì)量函數(shù)PMF為：

P(X=n)={1?pn=0pn=1
所以，似然函數(shù)可以寫成：
L(θ)=∏i=1mP(y=1|xi)yiP(y=0|xi)1?yi
對(duì)數(shù)似然函數(shù)則為：
lnL(θ)=∑i=1m[yilnP(y=1|xi)+(1?yi)lnP(y=0|xi)]
lnL(θ)=∑i=1m[yilnP(y=1|xi)+(1?yi)ln(1?P(y=1|xi))]
而在機(jī)器學(xué)習(xí)領(lǐng)域，我們經(jīng)常使用損失函數(shù)（loss function,或稱為代價(jià)函數(shù)，cost function）來衡量模型預(yù)測的好壞。常用的有0-1損失，平方損失，絕對(duì)損失，對(duì)數(shù)損失等。其中對(duì)數(shù)損失在單個(gè)數(shù)據(jù)點(diǎn)上的定義為：
cost(y,p(y|x))=?ylnp(y|x)?(1?y)ln(1?p(y|x))
全體樣本的損失函數(shù)則可表達(dá)為：
cost(y,p(y|x))=?∑i=1m[yilnp(yi|xi)+(1?yi)ln(1?p(yi|xi))]
可以看到，這個(gè)對(duì)數(shù)損失函數(shù)與上面的極大似然估計(jì)的對(duì)數(shù)似然函數(shù)本質(zhì)上是等價(jià)的。所以邏輯回歸直接采用對(duì)數(shù)損失函數(shù)來求參數(shù)，實(shí)際上與采用極大似然估計(jì)來求參數(shù)是一致的。

總結(jié)

以上是生活随笔為你收集整理的逻辑回归为什么使用对数损失函数的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。