理論推導

??機器學習所針對的問題有兩種：一種是回歸，一種是分類。回歸是解決連續數據的預測問題，而分類是解決離散數據的預測問題。線性回歸是一個典型的回歸問題。其實我們在中學時期就接觸過，叫最小二乘法。

??線性回歸試圖學得一個線性模型以盡可能準確地預測輸出結果。
??先從簡單的模型看起：
??首先，我們只考慮單組變量的情況，有：
使得
??假設有m個數據，我們希望通過x預測的結果f(x)來估計y。其中w和b都是線性回歸模型的參數。
??為了能更好地預測出結果，我們希望自己預測的結果f(x)與y的差值盡可能地小，所以我們可以寫出代價函數（cost function）如下：

??接著代入f(x)的公式可以得到：

??不難看出，這里的代價函數表示的是預測值f(x)與實際值y之間的誤差的平方。它對應了常用的歐幾里得距離簡稱“歐氏距離”。基于均方誤差最小化來求解模型的方法我們叫做“最小二乘法”。在線性回歸中，最小二乘法實質上就是找到一條直線，使所有樣本數據到該直線的歐式距離之和最小，即誤差最小。
??我們希望這個代價函數能有最小值，那么就分別對其求w和b的偏導，使其等于0，求解方程。
??先求偏導，得到下面兩個式子：

??很明顯，公式中的參數m，b，w都與i無關，簡化時可以直接提出來。
??另這兩個偏導等于0：
??求解方程組，解得：

??這樣根據數據集中給出的x和y，我們可以求出w和b來構建簡單的線性模型來預測結果。

??接下來，推廣到更一般的情況：
??我們假設數據集中共有m個樣本，每個樣本有n個特征，用X矩陣表示樣本和特征，是一個m×n的矩陣：

??用Y矩陣表示標簽，是一個m×1的矩陣：

??為了構建線性模型，我們還需要假設一些參數：

（有時還要加一個偏差（bias）也就是， 為了推導方便沒加，實際上結果是一樣的）

??好了，我們可以表示出線性模型了：

??h(x)表示假設，即hypothesis。通過矩陣乘法，我們知道結果是一個n×1的矩陣。
??跟前面推導單變量的線性回歸模型時一樣，列出代價函數：

??這里的1/2并無太大意義，只是為了求導時能將參數正好消掉而加上。
??代價函數代表了誤差，我們希望它盡可能地小，所以要對它求偏導并令偏導數為0，求解方程。
??在求偏導之前先展開一下：

??接下來對 求導，先給出幾個矩陣求導的公式：

??對代價函數 求關于 的偏導，并令其等于0。

??求偏導。

??套用前面給出的矩陣求導公式。

??最后化簡得到：

??好了，另這個偏導數等于0：

??解得：

OK，推導完畢。
把知識點梳理一遍發現清楚了很多。寫公式真的很累，明天再把線性回歸的代碼補上。
(? ??_??)?

《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的机器学习入门学习笔记：（2.1）线性回归理论推导的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。