雖然名字里有回歸，但實際上，邏輯回歸算法是一種分類算法。

文章目錄

• • 指數(shù)函數(shù) exp(x)
  • S型函數(shù) Sigmoid function
  • 對數(shù)函數(shù) log(x)
  • 邏輯回歸
  • 邏輯回歸的代價函數(shù)

指數(shù)函數(shù) exp(x)

現(xiàn)今指數(shù)函數(shù)通常特指以 $e$ 為底數(shù)的指數(shù)函數(shù)（即 $e^x$），為數(shù)學(xué)中重要的函數(shù)，也可寫作 $exp(x)$。這里的 $e$ 是數(shù)學(xué)常數(shù)，也就是自然對數(shù)函數(shù)的底數(shù)，近似值為 $2.718281828$，又稱為歐拉數(shù)。

• 作為實數(shù)變量 $x$ 的函數(shù)，$e^x$ 的圖像總是正的（在 $x$ 軸之上）并遞增（從左向右看），它不觸及 $x$ 軸，盡管它可以任意程度的靠近它。

• 函數(shù)特點是：$x>0$ 時 $y>1$，$x<0$ 時 $0<y<1$ 無限接近 0。

S型函數(shù) Sigmoid function

S型函數(shù)(Sigmoid function)，又稱邏輯函數(shù)(Logistic function)，其圖形如下：

$$f(x)=\frac{1}{1+e^{?x}}$$

它將輸入的值 $x$ “擠壓” 到 $[0,1]$ 范圍內(nèi)，很大的負(fù)數(shù)變成 0，很大的正數(shù)變成 1。歷史上，sigmoid 函數(shù)一度被用作激活函數(shù)。

對數(shù)函數(shù) log(x)

由：

$$3^4=3\times 3\times 3\times 3=81$$

可以得出：

$$4={\log }_{3}81$$

用日常語言說，即以 3 為底 81 的對數(shù)是 4。

以 $e$ 為底的自然對數(shù)，記作 $\ln (x)$ 或 $lo{g}_e(x)$ ，其圖形為：

邏輯回歸

邏輯回歸的假設(shè)函數(shù)表達(dá)式：

$$h_{\theta }(x)=\frac{1}{1+e^{?{\theta }^{T}x}}$$

假設(shè)函數(shù)中：

• 如果 $h_{\theta }(x)\ge 0.5$ ，我們認(rèn)為 $y=1$

• 如果 $h_{\theta }(x)<0.5$ ，我們認(rèn)為 $y=0$

即：

• 當(dāng) ${\theta }^{T}x<0$ 時，$y=0$；

• 當(dāng) ${\theta }^{T}x\ge 0$ 時，$y=1$；

• 當(dāng) ${\theta }^{T}x=0$ 時，得到假設(shè)函數(shù)的 決策邊界 (decision boundary)。

邏輯回歸的代價函數(shù)

邏輯回歸的假設(shè)函數(shù)為非凸函數(shù)，直接代入會有多個局部最優(yōu)值。因此，為了表現(xiàn)為凸函數(shù)，邏輯回歸的代價函數(shù)如下：

$$Cost(h_{\theta }(x),y)=?ylog(h_{\theta }(x))?(1?y)log(1?h_{\theta }(x))$$

對應(yīng)的函數(shù)的圖形如下：

• 即，如果標(biāo)簽是1，那么 $h_{\theta }(x)$ 越接近 0 代價越高：

  $$cost=?log(h_{\theta }(x))(y=1)$$

• 如果標(biāo)簽是 0，那么 $h_{\theta }(x)$ 越接近 1 代價越高：

  $$cost=?log(1?h_{\theta }(x))(y=0)$$

總結(jié)

以上是生活随笔為你收集整理的逻辑回归 logistic regression的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。