本文包括：

重要概念

邏輯斯蒂回歸和線性回歸

二項邏輯斯諦回歸模型

邏輯斯蒂回顧與幾率

模型參數估計

多項邏輯斯諦回歸

其它有關數據分析，機器學習的文章及社群

---

1.重要概念：

在正式介紹邏輯斯蒂回歸模型之前，需要先對一些基本概念有所了解，如果明白這些概念可以直接跳過。

分布函數和密度函數：對于一個連續型隨機變量，密度函數是指該變量在其可取值范圍內為一個特定值的概率，分布函數即在一個特定值和小于該特定值的范圍內出現的概率，可以理解為密度函數的面積比率。

用邏輯斯蒂分布舉例來說（下圖），在密度函數中，可以看到在x=0時出現峰值，即x取0的概率最大，從0開始往無窮小和無窮大都在遞減。再看分布函數，可以看到當x=0時，密度函數取值為0.5，對照密度函數，在小于等于0的部分，面積是總面積的一半。

似然函數：在統計學中，概率描述了已知參數時的隨機變量的輸出結果，似然則用來描述已知隨機變量輸出結果時，未知參數的可能取值。那么似然函數就是用來求得未知參數的估計值所使用的函數。

極大似然估計：通過最大化似然函數求得未知參數的估計值。這里講一下為什么是極大而非其它的方法求參數的估計值。

在機器學習中，我們有大量的記錄構成訓練集，需要根據訓練集進行學習獲得模型，根據具體的問題，我們可以將一個特定的模型套用在這個具體問題中。現在，我們有了一個含有未知參數的模型，以及大量訓練集記錄。

根據模型，我們可以假設Y=1的概率為P，Y=0的概率為1-P（這里的P包含了模型中的未知參數）。假設訓練集中有10個記錄，3個為1，7個為0，那么得到這個最終結果的概率為P^3*(1-P)^7。

現在重點來了，既然現實情況中已經出現了3個1和7個0的情況，那么我們的模型應該讓這種情況出現的概率最大，因為畢竟這個結果已經出現了。

也就是說，我們應當最大化P^3*(1-P)^7，以此推得P中所包含的未知參數的估計值，并最終得到我們想要的模型。

---

2.邏輯斯蒂回歸和線性回歸：

在線性回歸（感知機）中，我們知道一個分離超平面w·x將特征空間分成兩個部分，實例在不同的子空間中則被分為相對應的類。但是線性回歸的一個問題在于，我們不知道一個新輸入的實例，它屬于一個類的概率是多少。

換句話說，新輸入實例在特征空間中的位置可能與分離超平面距離非常近，也有可能非常遠，如果距離較遠，那么它更有可能被分成它所在一側對應的類，但是如果與超平面的距離非常近，說明它被分成另一類的可能性也很大，比如被分成A的可能性為51%，而分成B類的可能性為49%，此時線性回歸會將其分為A類，而忽略了49%分成B類的可能性，也就是說，線性回歸僅給出結論，未給出概率。

于是，為了得到這一概率，我們引入了Sigmoid函數：

Sigmoid函數能夠將線性回歸產生的值(-∞，+∞)轉換到(0,1)區間內，而概率的取值也在(0,1)內，這樣，就可以顯示一個實例被分為一個類的概率是多少了。

---

3.二項邏輯斯諦回歸模型：

首先來看邏輯斯蒂函數的一般形式，其分布具有以下分布函數和密度函數：

式中，μ為位置參數，γ>0為形狀參數。

分布函數以（μ,1/2）為中心對稱，滿足：

形狀參數γ的值越小，分布函數曲線在中心附近增長得越快。

現在，我們讓μ取0，γ取1，即得到我們在邏輯斯蒂回歸中使用的函數：

采用上式，我們將線性回歸產生的值代入到sigmoid函數之中，可得：

二項邏輯斯諦回歸模型是一種分類模型，由條件概率分布P(Y|X）表示。這里，隨機變量x取值為實數，隨機變量Y取值為1或0。

這樣，我們就將范圍為實數的線性回歸產生的值轉變為邏輯斯蒂回歸中僅在(0,1)范圍之內。

邏輯斯諦回歸僅對二分類的問題有效，我們可以比較P(Y=1|x)和P(Y=0|x)兩個條件概率值的大小，將實例x分到概率較大的那一類，同時也能得知分成兩種類別的可能性是多少。

---

4.邏輯斯蒂回歸與幾率：

一個事件的幾率是指該事件發生的概率與該事件不發生的概率的比值。如果事件發生的概率是p，那么該事件的幾率是

，該事件的對數幾率或logit函數是：

我們將邏輯斯蒂回歸的P代入，可得：

通過上式我們知道，通過幾率的概念對線性函數進行轉換，可以得到邏輯斯蒂回歸公式。

一個直觀的理解是，對于上式，分子是y=1的概率，而分母是y≠1的概率，顯然wx+b越大，y=1的概率越大，也就是實例點x在y=1的一側距離分離超平面越遠，則y=1的概率越大。

---

5.模型參數估計：

設：

似然函數為：

為了計算方便，我們對似然函數取對數，得到對數似然函數：

以上公式的第二個等式使用了上一節談到的幾率。注意，這里的式子中w和xi都是進行擴展后的w和xi，即權值向量中最后一項為b，xi最后一項為1。

現在根據極大似然估計法，對L(w)求導：

接下來通常采用的方法是梯度下降法及擬牛頓法來求得w的估計值，待后續更新。

---

6.多項邏輯斯諦回歸：

邏輯斯蒂回歸需要將線性回歸通過sigmoid函數進行轉換，但這種方法僅對二分類的問題有效，如果碰到多分類的問題邏輯斯蒂回歸就失效了。

于是，對于多分類的問題，我們使用softmax函數代替sigmoid函數，可以將softmax函數看做sigmoid函數的推廣。

Softmax函數：

Softmax函數計算新輸入實例被分為每一個類的概率，并選擇概率最大的對應的類作為新輸入實例的類。

多項邏輯斯蒂回歸：

---

github：

如果覺得對您有幫助，還煩請點擊下面的鏈接，幫忙github點個star~謝謝~

Zhouxiaonnan/machine-learning-notesandcode

所有筆記目錄：包括《統計學習方法》中各個模型的理論和python復現部分，以及數據分析Mysql查詢優化。

舟曉南：所有筆記目錄 | 數據分析 | 機器學習 | 深度學習等

如何轉行數據分析師：

舟曉南：如何轉行和學習數據分析 | 工科生三個月成功轉行數據分析心得淺談

舟曉南：求職數據分析師崗位，簡歷應該如何寫？｜工科生三個月成功轉行數據分析心得淺談

歡迎關注專欄：

學習筆記：數據分析，機器學習，深度學習?zhuanlan.zhihu.com

---

數據分析，機器學習學習社群正式啟動~

需要學習資料，想要加入社群均可私信~

在這里會分享各種數據分析相關資源，技能學習技巧和經驗等等~

詳情私信，一起進步吧！

寫于成都 2020-9-10

第一次修改 2020-9-26

第二次修改 2020-11-5

總結

以上是生活随笔為你收集整理的逻辑斯蒂回归_逻辑斯蒂回归详细解析 | 统计学习方法学习笔记 | 数据分析 | 机器学习...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。