線性分類相關文章：1、Fisher線性判別分析(LDA)^[1]2、廣義模型與線性模型& 判別分析 ^[2]3、邏輯回歸^[3]4、線性分類模型簡介5、感知機原理及代碼復現6、概率生成模型7、概率判別模型8、拉普拉斯近似

現在轉到邏輯回歸的貝葉斯處理。邏輯回歸的精確貝葉斯推理是難以處理的。尤其評估后驗分布需要前驗分布和似然函數的乘積的歸一化，其中似然函數包含每個數據點的邏輯sigmoid函數的乘積。

1 拉普拉斯近似

拉普拉斯近似通過找到后驗分布的mode，然后以mode為中心擬合高斯分布獲得。這需要對數后驗的二階導數的評估，等價于找到Hessian矩陣。

因為尋找一個代表后驗分布的高斯形式，則自然從高斯先驗開始，其一般形式為：

式

其中是固定的超參數。的后驗分布為：

式中。對兩邊取對數，用式140代替先驗分布，式89，得到：

式中。為了得到后驗分布的高斯近似，首先最大化后驗分布得到MAP(maximum posterior)的解，其是高斯的均值。則協方差由負對數似然的二階導矩陣的逆給出，其形式為：

因此后驗分布的高斯近似形式為：

式

在獲得后驗分布的高斯近似后，仍然需要對該分布進行邊緣化，以便進行預測。

2 預測分布

對于類在給定一個新的特征向量下的預測分布是通過對后驗分布歸一化得到，其通過高斯分布近似，所以：

相應的類的概率為。為了評估預測分布，首先注意到函數通過在上投影依賴。令，有：

式中是Dirac delta function。根據這個得到：

式中：

我們可以通過注意到delta函數對施加了一個線性約束來評估，所以根據聯合分布通過對正交的所有方向進行積分形成一個邊際分布。因為是高斯分布，所以邊際分布也是高斯分布。可以通過取矩計算這個分布的均值和協方差并交換和的積分順序，所以：

式中對變分后驗分布應用了式144。類似的：

注意，的分布與線性回歸模型的預測分布式58采用相同的形式，且噪聲方差設為零。這樣，我們對預測分布的變分近似就變成了：

在上的積分表示一個高斯函數與一個logistic sigmoid函數的卷積，不能被解析地計算。但可以通過利用式59定義的邏輯sigmoid函數和式114定義的probit函數間的密切相似性得到一個很好的近似 。

為了獲得對logistic函數的最佳逼近，我們需要重新縮放橫軸，以便我們用近似。我們可以通過要求這兩個函數在原點處具有相同的斜率來找到一個合適的值，這就得到了。圖9說明了對這個選擇的logistic sigmoid和probit函數的相似性。

使用probit函數的優點是它與高斯函數的卷積可以用另一個probit函數表示。具體來說，我們可以證明這一點：

我們現在對probit函數的兩邊應用近似，導致以下關于logistic sigmoid函數與高斯函數卷積的近似：

將此結果應用于式151，得到了近似預測分布的形式：

，，分別由式149、150、154定義。

對應的決策邊界是由給出，與用MAP得到的決策邊界一樣。因此如果決策標準是基于最小化錯分類率并以同樣的先驗概率，則對的邊緣化沒有影響。但對于更復雜的決策標準，它將發揮重要的作用。logistic sigmoid模型在后驗分布的高斯近似下的邊緣化將在圖10.13的變分推斷中得到說明。

參考資料

[1]

Fisher線性判別分析(LDA): https://blog.csdn.net/mengjizhiyou/article/details/103309372

[2]

廣義模型與線性模型& 判別分析: https://blog.csdn.net/mengjizhiyou/article/details/83188432

[3]

邏輯回歸: https://blog.csdn.net/mengjizhiyou/article/details/103117274

總結

以上是生活随笔為你收集整理的逻辑回归和线性回归的区别_[PRML]线性分类模型贝叶斯逻辑回归的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。