1. 線性回歸

1.1概念

對于一組特征，使用線性方程來進行擬合，對結果進行預測，公式如下：
$$\begin{gathered} h_{\theta }(X)={\theta }^{T}X={\theta }_0{X}_0+{\theta }_1{X}_1+???+{\theta }_n{X}_n \\ \theta =({\theta }_0,{\theta }_1,{\theta }_2,...,{\theta }_n) \\ X=(X_0,X_1,X_2,...,X_n) \\ 其中X_1=1 \end{gathered}$$

1.2代價函數

線性回歸選取的損失函數是均方誤差，均方誤差表示所有樣本到該預測函數的歐式距離最小，代價函數如下：
$$J(\theta )=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(X)?y_i{)}^2$$
對每一個$\theta$進行求導，便可以得到$\theta$的值：
$$\frac{?J}{?{\theta }_i}=\frac{1}{m}\sum _{i=1}^m(h_{\theta }(X_i)?y_i)X_i$$
更新參數：
$$\theta :=\theta ?\alpha \frac{?J}{?{\theta }_i}$$
其中$\alpha$表示學習率

1.3如何選取α，如何停止更新權值

通常$\alpha$取0.001，根據實驗結果依次增加三倍，比較實驗結果。0.001，0.003，0.01，0.03，0.1
$\theta$更新到什么時候停止？
每次更新后，帶入$\theta$值可以求得$J(\theta )$的值，比較當前的$J(\theta )$與上一次的值，如果變化很小，則可認為達到收斂；或者不斷增加迭代次數，可視化觀察$J(\theta )$的曲線圖。

1.4 正則化

使用L1范數（權值為非0的權值和）稱為Lasso回歸，使用L2范數（權值平方和）稱為嶺回歸。正則化項稱為懲罰函數，目的解決過擬合問題，代價函數變為：
$$J(\theta )=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(X_i)?y_i{)}^2+\lambda \sum _{j=1}^n{\theta }_j^2$$
這里使用的時L2范數$J(\theta )$稱為嶺回歸

2 邏輯回歸

2.1 概念

邏輯回歸由線性回歸轉變而來，線性回歸用來預測具體的值，如果遇到分類問題如何解決呢？這里還是使用線性回歸來擬合數據，然后再對其預測值進行0 1 映射（使用sigmod函數），因此得到的邏輯回歸模型為：
$$\begin{gathered} h_{\theta }(X)=\frac{1}{1+e^{?z}} \\ z={\theta }^{T}X \end{gathered}$$
sigmod函數就是形式S形狀的函數，存在上限、下限。

2.2代價函數

這里可以均方誤差作為代價函數，但是圖像非凸函數，使用梯度下降很難求得其收斂值，因此這里借助于極大似然估計的概念來設計邏輯回歸的代價函數：對于二分類：
似然函數：
$$\begin{gathered} L(x)=p^x?(1?p{)}^1?x \\ x=0,1 \end{gathered}$$
對數形式：
$$\log L(x)=x\log p+(1?x)\log (1?p)$$
對于邏輯回歸本身求得就是偏向某類的概率$h_{\theta }(x)$：邏輯回歸似然函數：
$$L(x)=\prod _{i=1}^{m}h(x_i{)}^{y_i}?(1?h_{\theta }(x_i{)}^{1?y})$$
對數形式：這里求得極大似然估計，前面取符號，即可求得滿足代價函數的最小值，于是得到邏輯回歸的代價函數如下：
$$\log L(x)=\sum _{i=1}^m{y}_i\log (h_{\theta }(x_i))+(1?y_i)\log (1?h_{\theta }(x_i))$$
$\frac{1}{m}$不影響函數的功能。故求得對$\theta$的偏導為：
$$\frac{?J}{?{\theta }_i}=\frac{1}{m}\sum _{i=1}^m{x}_i?(h_{\theta }{x}_i?y_i)$$
更新梯度：
$$\theta :=\theta ?\alpha \frac{?J}{?{\theta }_i}$$

2.3 正則化

與線性回歸相似，正則化可以使用L1范數、L2范數，這里使用L2范數得到的代價函數為：
$$J(\theta )=?\frac{1}{m}\sum _{i=1}^m\left[y_i\log (h_{\theta }(x_i))+(1?y_i)\log (1?h_{\theta }(x_i))+\lambda \sum _{j=1}^n{\theta }_j^2\right]$$

總結

以上是生活随笔為你收集整理的逻辑回归与线性回归的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。