最小二乘法代數表示方法

假設多元線性方程有如下形式：
$$f(x)=w_1{x}_1+w_2{x}_2+...+w_d{x}_d+b$$
令$w=(w_1,w_2,...w_d)$，$x=(x_1,x_2,...x_d)$，則上式可寫為
$$f(x)=w^{T}x+b$$
多元線性回歸的最小二乘法的代數法表示較為復雜，此處先考慮簡單線性回歸的最小二乘法表示形式。在簡單線性回歸中，w只包含一個分量，x也只包含一個分量，我們令此時的$x_i$就是對應的自變量的取值，此時求解過程如下

優化目標可寫為
$$SSE=\sum _{i=1}^m(f(x_i)?y_i{)}^2=E_{(}w,b)$$
通過偏導為0求得最終結果的最小二乘法求解過程為：
KaTeX parse error: No such environment: align at position 9: \begin{?a?l?i?g?n?}? \frac{\partial…

KaTeX parse error: No such environment: align at position 9: \begin{?a?l?i?g?n?}? \frac{\partial…

求得：
$$w=\frac{{\sum }_{i=1}^m{y}_i(x_i?\bar{x})}{{\sum }_{i=1}^m{x}_i^2?\frac{1}{m}({\sum }_{i=1}^m{x}_i{)}^2}$$

$$b=\frac{1}{m}\sum _{i=1}^m(y_i?w{x}_i)$$

#最小二乘法的矩陣表示形式

設多元線性回歸方程為：
$$f(x)=w_1{x}_1+w_2{x}_2+...+w_d{x}_d+b$$
令
$$\hat{w}=(w_1,w_2,...,w_d,b)$$

$$\hat{x}=(x_1,x_2,...,x_d,1)$$

則
$$f(x)=\hat{w}?{\hat{x}}^T$$
有多個y值，則所有x值可以用矩陣X進行表示：
$$X=?\begin{array}{ccccc}{x}_{11}& x_{12}& ...& x_{1d}& 1\\ x_{21}& x_{22}& ...& x_{2d}& 1\\ ...& ...& ...& ...& 1\\ x_{m1}& x_{m2}& ...& x_{md}& 1\end{array}?$$
y也可用m行1列的矩陣表示：
$$y=?\begin{array}{c}{y}_1\\ y_2\\ .\\ .\\ .\\ y_m\end{array}?$$
此時，SSE表示為：
$$SSE=||y?X{\hat{w}}^T|{|}_2^2=(y?X{\hat{w}}^T{)}^T(y?X{\hat{w}}^T)=E(\hat{w})$$
根據最小二乘法的求解過程，令$E(\hat{w})$對$\hat{w}$求導方程取值為0，有
KaTeX parse error: No such environment: equation at position 879: …數，有如下規則： \begin{?e?q?u?a?t?i?o?n?}? \\\frac{\parti…
簡單記憶矩陣的求導，自身轉置對自身求導=其它項的轉置；

其中：
$$?{||\mathbf{y}?\mathbf{X}{\hat{\mathbf{w}}}^{\mathbf{T}}|{|}_2}^2$$
下方的2表示L2范式，即里面的內容相乘之后開根號，右上平方之后，消除根號。

進一步可得
$$X^{T}X{\hat{w}}^T=X^{T}y$$
要使得此式有解，等價于$X^{T}X$（也被稱為矩陣的交叉乘積crossprod存在逆矩陣，若存在，則可解出）
$${\hat{w}}^T=(X^{T}X{)}^{?1}{X}^{T}y$$

最小二乘法的編程實現

例子：

$$X=A=\left[\begin{array}{cc}1& 1\\ 3& 1\end{array}\right]$$

$$y=B=\left[\begin{array}{c}2\\ 4\end{array}\right]$$

$${\hat{w}}^T=X^T=\left[\begin{array}{c}a\\ b\end{array}\right]$$

手動實現

X = A X tensor([[1., 1.],[3., 1.]]) y = B y tensor([[2.],[4.]]) X.t() tensor([[1., 3.],[1., 1.]]) w = torch.mm(torch.mm(torch.inverse(torch.mm(X.t(),X)),X.t()),y)

這里直接套用上面推導出來的公式

w tensor([[1.0000],[1.0000]])

調用函數求解

torch.lstsq(y, X) torch.return_types.lstsq( solution=tensor([[1.0000],[1.0000]]), QR=tensor([[-3.1623, -1.2649],[ 0.7208, -0.6325]]))

對于lstsq函數來說，第一個參數是因變量張量，第二個參數是自變量張量，并且同時返回結果還包括QR矩陣分解的結果。

補充知識點：范數的計算

求解L2范數：

# 默認情況，求解L2范數，個元素的平方和開平方 torch.linalg.norm(t)

求解L1范數：

# 輸入參數，求解L1范數，個元素的絕對值之和 torch.linalg.norm(t, 1)

總結

最小二乘法計算快速，但條件苛刻，需滿足X存在逆矩陣。

總結

以上是生活随笔為你收集整理的深度学习基础：2.最小二乘法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。