以前一直以為邏輯回歸的公式(sigmoid函數)是人為臆造的，學了機器學習課程才知道，它的背后是有貝葉斯定理這樣的數學理論支撐的。

為什么是Sigmoid函數？

回顧貝葉斯分類器，貝葉斯分類器是一種生成式學習方。為了獲取$P(Y|X)$，我們將它轉化為$P(Y)$和P(X|Y)，然后從數據集中估計這兩個參數。那么問題來了，我們是否可以直接估計$P(Y|X)$呢？

在邏輯回歸模型中，我們做如下假設：

• 設$X$是一個實數值矩陣，表示$n$個特征，$<X_1,X_2,\dots ,X_n>$
• 設$Y$是一個布爾值矩陣
• 假設在給定$Y$后所有的$X_i$之間都是條件獨立的，即
  $$\begin{gathered} P(X|Y) \\ =P(X_1,X_2,\dots ,X_n|Y) \\ =P(X_1|Y)P(X_2|Y)\dots P(X_n|Y) \end{gathered}$$
• 假設在給定$Y=y_k$后，每一個$X_i$都服從高斯分布$N({\mu }_{ik},{\sigma }_i)$，即
  $(X_i|Y=y_k)～N({\mu }_{ik},{\sigma }_i)$
  $P\left(X_i|Y=0\right)=\frac{1}{\sqrt{2\pi }{\sigma }_i}\exp \left\{?\frac{{\left(X_i?{\mu }_{i0}\right)}^2}{2{\sigma }_i^2}\right\}$
• 假設類別$Y$的先驗服從伯努利分布，即
  $P(Y=1)=\pi ,P(Y=0)=1?\pi$

然后我們就可以開始推公式了。

$$\begin{gathered} P\left(Y=1|X\right) \\ =\frac{P\left(X|Y=1\right)P\left(Y=1\right)}{P\left(X\right)} \\ =\frac{P\left(X|Y=1\right)P\left(Y=1\right)}{P\left(X|Y=1\right)P\left(Y=1\right)+P\left(X|Y=0\right)P\left(Y=0\right)} \\ =\frac{1}{1+\frac{P\left(X|Y=0\right)P\left(Y=0\right)}{P\left(X|Y=1\right)P\left(Y=1\right)}} \\ =\frac{1}{1+\frac{1?\pi }{\pi }?\frac{P\left(X|Y=0\right)}{P\left(X|Y=1\right)}} \\ =\frac{1}{1+\frac{1?\pi }{\pi }?\frac{{\prod }_{i}P\left(X_i|Y=0\right)}{{\prod }_{i}P\left(X_i|Y=1\right)}} \\ =\frac{1}{1+\exp \left\{\ln \left(\frac{1?\pi }{\pi }?\frac{{\prod }_{i}P\left(X_i|Y=0\right)}{{\prod }_{i}P\left(X_i|Y=1\right)}\right)\right\}} \\ =\frac{1}{1+\exp \left\{\ln \left(\frac{1?\pi }{\pi }\right)+\ln \left(\frac{{\prod }_{i}P\left(X_i|Y=0\right)}{{\prod }_{i}P\left(X_i|Y=1\right)}\right)\right\}} \\ =\frac{1}{1+\exp \left\{\ln \left(\frac{1?\pi }{\pi }\right)+{\sum }_i\left(\ln \left(P\left(X_i|Y=0\right)\right)?\ln \left(P\left(X_i|Y=1\right)\right)\right)\right\}} \end{gathered}$$

我們觀察分母的最后一項中的
$\ln \left(P\left(X_i|Y=0\right)\right)?\ln \left(P\left(X_i|Y=1\right)\right)$

可以發現由于我們有概率密度函數
$$\begin{gathered} P\left(X_i|Y=0\right)=\frac{1}{\sqrt{2\pi }{\sigma }_i}\exp \left\{?\frac{{\left(X_i?{\mu }_{i0}\right)}^2}{2{\sigma }_i^2}\right\} \\ P\left(X_i|Y=1\right)=\frac{1}{\sqrt{2\pi }{\sigma }_i}\exp \left\{?\frac{{\left(X_i?{\mu }_{i1}\right)}^2}{2{\sigma }_i^2}\right\} \end{gathered}$$

所以有
$$\begin{gathered} \ln \left(P\left(X_i|Y=0\right)\right)?\ln \left(P\left(X_i|Y=1\right)\right) \\ =?\frac{{\left(X_i?{\mu }_{i0}\right)}^2}{2{\sigma }_i^2}+\frac{{\left(X_i?{\mu }_{i1}\right)}^2}{2{\sigma }_i^2} \\ =\frac{?{\left(X_i?{\mu }_{i0}\right)}^2+{\left(X_i?{\mu }_{i1}\right)}^2}{2{\sigma }_i^2} \\ =\frac{?X_{\begin{array}{c}i\end{array}}^2+2X_i{\mu }_{i0}?{\mu }_{i0}^2+X_{\begin{array}{c}i\end{array}}^2?2X_i{\mu }_{i1}+{\mu }_{i1}^2}{2{\sigma }_i^2} \\ =\frac{2\left({\mu }_{i0}?{\mu }_{i1}\right)X_i?{\mu }_{i0}^2+{\mu }_{i1}^2}{2{\sigma }_i^2} \\ =\frac{{\mu }_{i0}?{\mu }_{i1}}{{\sigma }_i^2}{X}_i+\frac{?{\mu }_{i0}^2+{\mu }_{i1}^2}{2{\sigma }_i^2} \end{gathered}$$

因此，

$$\begin{gathered} P\left(Y=1|X\right) \\ =\frac{1}{1+\exp \left\{\ln \left(\frac{1?\pi }{\pi }\right)+{\sum }_i\left(\ln \left(P\left(X_i|Y=0\right)\right)?\ln \left(P\left(X_i|Y=1\right)\right)\right)\right\}} \\ =\frac{1}{1+\exp \left\{\ln \left(\frac{1?\pi }{\pi }\right)+{\sum }_i\left(\frac{{\mu }_{i0}?{\mu }_{i1}}{{\sigma }_i^2}{X}_i+\frac{?{\mu }_{i0}^2+{\mu }_{i1}^2}{2{\sigma }_i^2}\right)\right\}} \\ =\frac{1}{1+\exp \left\{\ln \left(\frac{1?\pi }{\pi }\right)+{\sum }_i\left(\frac{?{\mu }_{i0}^2+{\mu }_{i1}^2}{2{\sigma }_i^2}\right)+{\sum }_i\left(\frac{{\mu }_{i0}?{\mu }_{i1}}{{\sigma }_i^2}{X}_i\right)\right\}} \end{gathered}$$

即
$$P\left(Y=1|X\right)=\frac{1}{1+\exp \left\{\ln \left(\frac{1?\pi }{\pi }\right)+{\sum }_i\left(\frac{?{\mu }_{i0}^2+{\mu }_{i1}^2}{2{\sigma }_i^2}\right)+{\sum }_i\left(\frac{{\mu }_{i0}?{\mu }_{i1}}{{\sigma }_i^2}{X}_i\right)\right\}}$$

令
$w_0=\ln \left(\frac{1?\pi }{\pi }\right)+{\sum }_i\left(\frac{?{\mu }_{i0}^2+{\mu }_{i1}^2}{2{\sigma }_i^2}\right)$
$w_i=\frac{{\mu }_{i0}?{\mu }_{i1}}{{\sigma }_i^2}$
則
$$P\left(Y=1|X\right)=\frac{1}{1+\exp \left\{w_0+{\sum }_i\left(w_i{X}_i\right)\right\}}$$
即
$$P\left(Y=1|X\right)=\frac{1}{1+e^{wX+b}}$$
也就是我們常說的sigmoid函數。

損失函數推導

我們采用極大似然估計(MLE)，但是$P(<X_i,y_i>|w)$很難求，數據集中很難找到這樣的數據，因此我們采用更弱一些的條件極大似然(MCLE)，求$P(Y=y_i|X_i,w)$。
在這里我們需要一個真實的場景。

《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的Logistics Regression公式推导的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。