一元線性回歸

變量間的關系

　變量與變量之間的關系分為確定性關系和相關性關系。
　確定性關系是指當自變量給定一個值的時候，就能計算出應變量的值。例如物體下落高度h與下落時間t的關系：h=12gt2。
　相關性關系是指變量之間的關系不確定，表現為具有隨機性的一種“趨勢”。對自變量X的同一個值，取得的因變量Y的值可能不同，而且是隨機的。但對應X在一定范圍內的不同值，可以觀測到Y隨X的變化呈現出一定的趨勢。E(Y)=μ(x)（這句話說得真是妙。以前因果關系這樣的邏輯深深地刻在腦海里，總覺得所有事情都是由A=>B。這種即隨機，又趨勢的這種關系從未曾理解過）
　
　相關性關系的例子生活中是有很多的。身高和體重沒有確定的函數關系，但從統計意義上講身高高的，體重大。

概念與模型

　一元線性回歸研究一個變量對另外一個變量的影響。
　解釋變量x
　響應變量Y
　Y的變化除了X的影響外，還有其他隨機因素的影響，記為ε
　對從總體(x,Y)中抽取的一個樣本：(x1,Y1),(x2,Y2),....(xn,Yn)。字母大小寫區別了是解釋變量，還是響應變量。
　Yi=β0+β1xi+εi,i=1,2..n
　εi~N(0,σ2)，且相互獨立
　β0,β1是回歸系數，未知；σ2未知
　y關于x的一元線性回歸：y^=β^0+β^1xi
　樣本值(x1,y1),(x2,y2)...(xn,yn)

回歸系數估計

　β0,β1的估計采用最小二乘法。
　Q(β0,β1)=∑ni=1(yi?(β0+βixi))2，能夠使得Q(β0,β1)最小的β0,β1的值就是估計的β^0,β^1。
　求導，導數為0，得到β^0,β^1。整理方程組得到：
　β^0=yˉ?xˉβ^1
　β^1=sxy/sxx
　其中xˉ=1n∑ni=1xi，yˉ=1n∑ni=1yi，sxx=∑ni=1(xi?xˉ)2，sxy=∑ni=1(xi?xˉ)(yi?yˉ)，syy=∑ni=1(yi?yˉ)2
　說明：最小二乘法事先并不需要知道Y與x之間一定有線性關系?？梢酝ㄟ^專業知識，或者根據實際觀測的數據用假設檢驗方法來判斷。

σ2估計

　ei=yi?y^i，ei是εi的估計。
　σ2=D(εi)=E(εi)2
　用殘差平方和∑ni=1(yi?y^i)2估計σ2
　可以證明E(∑ni=1(yi?y^i)2)=(n?2)σ2，因此S2=1n?2∑ni=1(yi?y^i)2是σ2的無偏估計。

線性假設的顯著性檢驗

H0假設

　H0:β1=0
　H1:β1≠0
　如果接受H0，x與Y沒有線性關系，回歸方程無意義；如果拒絕H0，說明回歸效果顯著。
　x與Y沒有回歸效果不顯著的原因可能有：1 影響Y的因素除了x還有別的因素且不能忽略；2E(Y)與x的關系不是線性關系，而是其他關系；3Y與x沒關系。　

回歸方程檢驗

回歸系數檢驗

回歸系數的置信區間

　(β^1±tα/2(n?2)ssxx???√)

一元線性回歸方程的應用–預測

　y^0=β^0+β^1x0 在x=x0點預測y0。
　

總結

以上是生活随笔為你收集整理的第八章方差分析以及线性回归(2)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。