首先，我們要明白最小二乘估計是個什么東西？說的直白一點，當我們確定了一組數的模型之后，然后想通過最小二乘的辦法來確定模型的參數。舉個兩變量（一個自變量、一個因變量）線性回歸的例子來說明一下，如下面所示一堆散點圖。

一堆觀測數據繪制的散點圖

上面這個圖呢，我們打眼一看就想到：“這兩個變量之間應該是一個線性的關系”。如果用y表示因變量，用x表示自變量，那么y和x之間的關系應該是這樣的：

公式1

注意，這個模型公式中k和b是我們想要求的，k和b的取值不同，會畫出不同的直線來，如下圖：

同一個模型，不同參數得到不同結果

在這一堆可能的直線里面，我們要想一個辦法選一個最好的出來。像選美比賽一樣，臺子下面需要幾個舉牌的評委。

那我們就想到用這樣一種辦法，在這些可能的直線中，我們求訓練樣本的那些點到直線之間的距離的和。這樣，每條直線都可以有一個值，我們把這個距離的和最小的那條直線找出來，我們認為這條直線它最順眼，因為它照顧到了所有的訓練樣本點的情緒，不偏不倚。這種方法就是最小二乘法。

當然，我們都是學過高等數學的文化人，我們需要用一堆公式把這個簡單的事情給它復雜化，顯得我們更加高深莫測，讓客戶給我們多加錢。就像古代青樓女子，總是會唱曲的更受追捧。

如果我們用多元的線性模型去分析多個變量（1個因變量，p-1個自變量）的情況，同樣有n組觀測點。我們看其中第i個點，它滿足下面的公式。公式最后的ei是因為我們使用線性模型沒法精準的描述實際的訓練的點，就只好用個隨機變量把差值表示出來。

公式2

那如果要顯得更高深一點，我們把n個訓練樣本點全拿出來，上面的式子就變成了n個，我們再寫成矩陣的形式。以滿足我們從簡單到復雜、再從復雜到簡單的zhuangbi心態。

公式3

大家注意看上面那個公式，其中Xβ是我們的模型對我們訓練樣本中p-1個自變量進行預測得到的因變量的預測值，但實際上我們已知p-1個自變量帶來因變量的值（是n個y組成的一個列向量）是y。那這個實際的y和我們預測的Xβ之間的距離是這樣的：

公式4

我們要想辦法在β的可能取值中找到一組特殊的β，使得上面這個式子的值最小。那我們自然而然想到對上面的式子進行求導，然后讓導數=0，得到駐點。然后驗證一下這個駐點是不是最值點，如果是的話。bingo，搞定。

公式4對β求偏導之前先展開：

公式5

公式5對β求偏導，然后令偏導為0，得到下面的公式：

公式6

可以求出β為：

公式7

那這組β可不可以讓我們的公式4取得最小值呢，我們把公式7帶入到公式4中

公式8

公式8中的第三項它是等于0的。所以公式8只剩下了

公式9

又因為X'X是一個正定矩陣，所以公式9中的第二項它>=0，所以

公式10

也就證明了我們的公式7中的β就是要找的那個β。

總結

以上是生活随笔為你收集整理的python 最小二乘回归 高斯核_最经典的回归模型参数估计算法—最小二乘的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。