當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

【机器学习】逻辑斯蒂回归原理

發布時間：2023/12/20 编程问答 23 豆豆

生活随笔收集整理的這篇文章主要介紹了【机器学习】逻辑斯蒂回归原理小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

邏輯斯蒂函數

引入：在線性感知器算法中，我們使用了一個f(x)=x函數，作為激勵函數，而在邏輯斯蒂回歸中，我們將會采用sigmoid函數作為激勵函數，所以它被稱為sigmoid回歸也叫對數幾率回歸（logistic
regression），需要注意的是，雖然它的名字中帶有回歸，但事實上它并不是一種回歸算法，而是一種分類算法。它的優點是，它是直接對分類的可能性進行建模的，無需事先假設數據分布，這樣就避免了假設分布不準確所帶來的問題，因為它是針對于分類的可能性進行建模的，所以它不僅能預測出類別，還可以得到屬于該類別的概率。除此之外，sigmoid函數它是任意階可導的凸函數。在這篇文章中，將會使用到梯度上升算法，可能有很多同學學到這里會有點迷糊，之前我們所使用的是，梯度下降算法為什么到這里卻使用的是梯度上升算法？

解釋logistic回歸為什么要使用sigmoid函數
$hθ=g(θTX)=11+e?θTXh_{\theta} = g(\theta^TX) = \frac{1}{1 + e^{-\theta^TX}}$

$hw=g(wTX)=11+e?wTXh_w = g(w^TX) = \frac{1}{1 + e^{-w^TX}}$

$hw=g(Xw)=11+e?Xwh_w = g(Xw) = \frac{1}{1 + e^{-Xw}}$

準備數據

import numpy as npX = np.random.randn(50,4) X.shapew = np.random.randn(4) X[[0]].dot(w)#或者 w.T.dot(X[0])

3.154665990657282

'''假如有一個罐子，里面有黑白兩種顏色的球，數目多少不知，兩種顏色的比例也不知。我們想知道罐中白球和黑球的比例，但我們不能把罐中的球全部拿出來數。現在我們可以每次任意從已經搖勻的罐中拿一個球出來，記錄球的顏色，然后把拿出來的球再放回罐中。這個過程可以重復，我們可以用記錄的球的顏色來估計罐中黑白球的比例。假如在前面的一百次重復記錄中，有七十次是白球，請問罐中白球所占的比例最有可能是多少？''' # 請問罐子中白球的比例是多少？很多種可能10%，5%，95%…… # 請問罐子中白球的比例最有可能是多少？70%，進行精確計算，‘感覺’ # ‘感覺’的計算 # 假設白球的概率是p,黑球1-p # 取出一個球是白球的概率：p # 取出兩個球，都是白球的概率：p**2 # 取出3個球，2個白球一個黑球的概率：p**2*(1-p) # 取出100個球，70是白球，30個是黑球，概率：p**70*(1-p)**30 f(p) = p**70*(1-p)**30

$f(p) = p^{70}*(1-p)^{30}$

$70*p^{69}*(1-p)^{30} + p^{70}*30*(1-p)^{29}*(-1) = 0$

$70 ? (1 ? p) ? p ? 30 = 0$

$70 ? 100 ? p = 0$

$p = 0.7$

$l(θ)越大越好，梯度上升優化l(\theta) 越大越好，梯度上升優化$

$J(θ)=?l(θ)越小越好，梯度下降了J(\theta) = -l(\theta)越小越好，梯度下降了$

將似然函數變成log函數

梯度上升添加符號就變為梯度下降

再求導求出j點的梯度

！！！
我是這樣認為的：所謂的梯度“上升”和“下降”，一方面指的是你要計算的結果是函數的極大值還是極小值。計算極小值，就用梯度下降，計算極大值，就是梯度上升；另一方面，運用上升法的時候參數是不斷增加的，下降法是參數是不斷減小的。但是，在這個過程中，“梯度”本身都是下降的。

提取共同系數

$hθ=g(θTX)=11+e?θTXh_{\theta} = g(\theta^TX) = \frac{1}{1 + e^{-\theta^TX}}$

$1(1+e?θTX)2?e?θTX???θjθTX\frac{1}{(1 + e^{-\theta^TX})^2}*e^{-\theta^TX}*\frac{\partial}{\partial{\theta_j}}{\theta^TX}$

$1(1+e?θTX)?e?θTX(1+e?θTX)???θjθTX\frac{1}{(1 + e^{-\theta^TX})}*\frac{e^{-\theta^TX}}{(1 + e^{-\theta^TX})}*\frac{\partial}{\partial{\theta_j}}{\theta^TX}$

$g(θTXi)?e?θTX(1+e?θTX)???θjθTXg(\theta^TX^i)*\frac{e^{-\theta^TX}}{(1 + e^{-\theta^TX})}*\frac{\partial}{\partial{\theta_j}}{\theta^TX}$

$g(\theta^TX^i)=1 - \frac{1}{1 + e^{-\theta^TX}} = \frac{1 + e^{-\theta^TX}}{1 + e^{-\theta^TX}} - \frac{1}{1 + e^{-\theta^TX}} = \frac{e^{-\theta^TX}}{1 + e^{-\theta^TX}}$

$\frac{1}{1 + e^{-x}}$

$g′=g?(1?g)g^{\prime} = g*(1 -g)$

手寫筆記個人總結使用

可參考
徹底搞懂邏輯斯蒂回歸

PS：公眾號內回復：Python，即可獲取最新最全學習資源！

破解專業版pycharm參考博客www.wakemeupnow.cn公眾號：劉旺學長

內容詳細：【個人分享】今年最新最全的Python學習資料匯總！！！

以上，便是今天的分享，希望大家喜歡，
覺得內容不錯的，歡迎點擊分享支持，謝謝各位。

單純分享，無任何利益相關！

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的【机器学习】逻辑斯蒂回归原理的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

上一篇： PPT使用技巧总结
下一篇：百度云网盘高速通道加速破解版去广告纯净