緊接上一篇博客，多變量梯度下降法的表達(dá)式形式與單變量一致，只是變量的擴(kuò)充以及每次迭代需要對(duì)每個(gè)變量進(jìn)行操作（同樣是所有變量一次性更新）。假設(shè)函數(shù)、代價(jià)函數(shù)和梯度下降的表達(dá)式分別如下：
$$h_{\theta }(x)={\theta }^{T}x$$$$J(\theta )=\frac{1}{2m}\sum _{i=0}^m(h_{\theta }(x_i)?y_i{)}^2$$KaTeX parse error: No such environment: align at position 7: \begin{?a?l?i?g?n?}?\theta_j:=\thet…
對(duì)于多變量，往往每個(gè)特征變量的取值范圍差異很大，在利用梯度下降法進(jìn)行迭代運(yùn)算求$J(\theta )$的最小值時(shí)，迭代路徑受數(shù)值大的變量影響較大，而數(shù)值小的變量可能會(huì)在最優(yōu)值附近反復(fù)振蕩，造成迭代路徑的曲折，收斂緩慢。因此為了更快收斂，一般把各變量歸一化成取值范圍大概一致（feature scaling）。一般取$?1\le x_i\le 1$或者$?0.5\le x_i\le 0.5$，（不是嚴(yán)格規(guī)定）。對(duì)于一個(gè)一般變量，通常取$$x_i:=\frac{x_i?{\mu }_i}{s_i}$$這里${\mu }_i$是$x_i$的樣本平均值，$s_i$是取值范圍（max - min），或者$s_i$取為標(biāo)準(zhǔn)差。

[外鏈圖片轉(zhuǎn)存失敗(img-69raoK7f-1562665150709)(https://img-my.csdn.net/uploads/201206/28/1340891220_5273.jpg)]

對(duì)于回歸問(wèn)題，顯然假設(shè)函數(shù)$h_{\theta }(x)$并不是與每個(gè)特征變量均成線性關(guān)系，可能會(huì)出現(xiàn)如$h_\theta(x)=\theta_0+\theta_1x_1+\theta_2x_2^2 $的形式，這稱為多項(xiàng)式回歸（Polynomial Regression）。

但是，可以通過(guò)適當(dāng)變形把其轉(zhuǎn)變?yōu)榫€性回歸。在此例子中，令$x_2=x_2^2$，則$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2$。此外，可令$x_3=x_1{x}_2$，$x_4=\sqrt{x_1}$等各種不同方式對(duì)變量變形，使其成為線性回歸問(wèn)題。運(yùn)用變形后，變量范圍的歸一化就變得尤為重要。

另一種解線性回歸問(wèn)題的方法是標(biāo)準(zhǔn)方程法（Normal Equation），運(yùn)用該方法，可以不需要迭代而直接求出$\theta$。該方程如下：$$\theta =(X^{T}X{)}^{?1}{X}^{T}y$$
這里$\theta =?\begin{array}{c}{\theta }_0\\ {\theta }_1\\ {\theta }_2\\ ...\end{array}?$，$y=?\begin{array}{c}{y}_0\\ y_1\\ y_2\\ ...\end{array}?$，$X=?\begin{array}{cccc}{x}_0^{(1)}& x_1^{(1)}& x_2^{(1)}& ...\\ x_0^{(2)}& x_1^{(2)}& x_2^{(2)}& ...\\ x_0^{(3)}& x_1^{(3)}& x_2^{(3)}& ...\\ ...& ...& ...& ...\end{array}?$
例子如下：

這個(gè)結(jié)論來(lái)源于線性代數(shù)中的投影，具體推導(dǎo)參考http://open.163.com/movie/2010/11/J/U/M6V0BQC4M_M6V2AJLJU.html

梯度下降法和標(biāo)準(zhǔn)方程法的比較：

Gradient DescentNormal Equation

需要選擇合適的參數(shù)$\alpha$	不需要選擇參數(shù)
需要多次迭代	不需要迭代
算法復(fù)雜度$O(k{n}^2)$	$O(n^3)$，因要計(jì)算$X^{T}X$的逆矩陣
當(dāng)樣本數(shù)n很大時(shí)依然高效	樣本數(shù)n很大時(shí)計(jì)算慢

如果$X^{T}X$不可逆，有以下兩方面原因：
1、存在多余的特征變量，如其中兩個(gè)特征變量存在線性關(guān)系，如$x_2=2x_1$；
2、相比較樣本數(shù)據(jù)，特征變量太多，即$m<n$，這里$m$是樣本個(gè)數(shù)，$n$是特征變量個(gè)數(shù)

在Octave/Matlab中，用pinv()代替inv()實(shí)現(xiàn)矩陣取逆，即使矩陣不可逆時(shí)也可以得到正確的結(jié)果。
即標(biāo)準(zhǔn)方程的代碼實(shí)現(xiàn)為：

theta = pinv(X'*X)*X'*y;

總結(jié)

以上是生活随笔為你收集整理的线性回归的补充与变量归一化的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。