R语言基础应用
http://my.oschina.net/u/236959/blog/93731
1 什么是R語言R語言是一個開源的數據分析環境，起初是由數位統計學家建立起來，以更好的進行統計計算和繪圖，這篇 wiki中包含了一些基本情況的介紹。由于R可以通過安裝擴展包（Packages）而得到增強，所以其功能已經遠遠不限于統計分析，如果感興趣的話可以到 官方網站了解關于其功能的更多信息。
至于R語言名稱的由來則是根據兩位主要作者的首字母(Robert Gentleman and Ross Ihaka)，但過于簡短的關鍵詞也造成在搜索引擎中很不容易找到相關的資料。不過這個專門的 搜索網站可以幫到你。
2 為什么要學習R語言
可能你想說，“我已經學會了spss/sas/stata...，為什么還要去學習R呢？”如下幾方面可能會吸引到你：
- R是免費開源軟件:現在很多學術期刊都對分析軟件有版權要求，而免費的分析工具可以使你在這方面不會有什么擔心。另一方面，如果學術界出現一種新的數據分析方法，那么要過很長一段時間才會出現在商業軟件中。但開源軟件的好處就在于，很快就會有人將這種方法編寫成擴展包，或者你自己就可以做這件工作。
- 命令行工作方式:許多人喜歡類似SPSS菜單式的操作，這對于初學者來說很方便入門，但對于數據分析來說，命令行操作會更加的靈活，更容易進行編程和自動化處理。而且命令行操作會更容易耍酷，不是嘛，一般人看到你在狂敲一推代碼后得到一個分析結果，對你投來的目光是會不一樣的。
- 小巧而精悍:R語言的安裝包更小，大約不到40M，相比其它幾個大家伙它算是非常小巧精悍了。目前R語言非常受到專業人士歡迎，根據對數據挖掘大賽勝出者的調查可以發現，他們用的工具基本上都是R語言。此外，從最近幾次R語言大會上可以了解到，咨詢業、金融業、醫藥業都在大量的使用R語言，包括google/facebook的大公司都在用它。因此，學習R語言對你的職業發展一定是有幫助的。
3 R語言的下載和GUI界面
R語言安裝包可以在 官方網站下載，windows版可直接點擊這個 連接
在ubuntu下面安裝R則更容易，在終端里頭運行如下命令即可
sudo apt-get update
sudo apt-get install r-base
此外，學習R語言時強烈推薦安裝Rstudio做為R的圖形界面，關于Rstudio之前的 博文有過簡單介紹，點 這里可能轉到它的官方網站。
4 R語言的學習方法
學習R并不是一件非常輕松的事情，初學者需要記住的就是：
- 親手鍵入代碼并理解其意義
- 在筆記里記下一些重點或心得（個人推薦Evernote）
- 堅持練習，對手邊的數據進行應用分析
- 理解背景知識，細節很重要。
5 哪里可以得到參考資料
1.官方網站? http://cran.csdb.cn/index.html?（官方文獻集中地）
2. 統計之都論壇
3. 人大經濟論壇－R子論壇?（免費資料也不少）
4. http://library.nu/?這是網上電子書最多的地方，其中有一個R語言專門書柜（也就是一個shelves）
5. 關于R語言的教材小結
6.筆者在verycd上發的一個 書單
7.一個國外著名的R語言群博? http://www.r-bloggers.com/
8.展示R語言的各類繪圖? http://addictedtor.free.fr/graphiques/
本人博客里也有一些關于R語言的資料： xccds1977.blogspot.com?(需)
如果有一些簡單的入門問題，也可以在推特上follow me twitter:? @xccds
6 本系列博文的目的
本系列入門的目的是為初學者提供最簡潔清晰的資料，以迅速入門。所針對的讀者人群是那些正在大學里學習 初級統計學的同學。本系列計劃包括內容有：基本命令，數據操作；描述統計和繪圖；重要的R語言函數計算；統計推斷和估計；非參數統計方法；方差分析；線性回歸和一般線性模型。
R語言基礎入門之二：數據導入和描述統計
1 數據導入對初學者來講，面對一片空白的命令行窗口，第一道真正的難關也許就是數據的導入。數據導入有很多途徑，例如從網頁抓取、公共數據源獲得、文本文件導入。為了快速入門，建議初學者采取R語言協同Excel電子表格的方法。也就是先用較為熟悉的Excel讀取和整理你要處理的數據，然后“粘貼”到R中。
例如我們先從 這個地址下載iris.csv演示數據，在Excel中打開，框選所有的樣本然后“復制”。在R語言中輸入如下命令：
data=read.table('clipboard',T) 這的里read.table是R讀取外部數據的常用命令，T表示第一行是表頭信息，整個數據存在名為data的變量中。另一種更方便的導入方法是利用Rstudio的功能，在workspace菜單選擇“import dataset”也是一樣的。
2 Dataframe操作
在數據導入R語言后，會以數據框(dataframe)的形式儲存。dataframe是一種R的數據格式，可以將它想象成類似統計表格，每一行都代表一個樣本點，而每一列則代表了樣本的不同屬性或特征。初學者需要掌握的基本操作方法就是dataframe的編輯、抽取和運算。
盡管建議初學者在Excel中就把數據處理好，但有時候還是需要在R中對數據進行編輯，下面的命令可以讓你有機會修改數據并存入到新的變量newdata中：
newdata=edit(data) 另一種情況就是我們可能只關注數據的一部分，例如從原數據中抽取第20到30號樣本的Sepal.Width變量數據，因為Sepal.Width變量是第2個變量，所以此時鍵入下面的命令即可：
newdata=data[20:30,2] 如果需要抽取所有數據的Sepal.Width變量，那么下面兩個命令是等價的：
newdata=data[,2]
newdata=data$Sepal.Width 第三種情況是需要對數據進行一些運算，例如需要將所有樣本的Sepal.Width變量都放大10倍，我們先將原數據進行一個復制，再用$符號來提取運算對象即可：
newdata=data
newdata$Sepal.Width=newdata$Sepal.Width*10 3 描述統計
描述統計是一種從大量數據中壓縮提取信息的工具，最常用的就是 summary命令，運行summary(data)得到結果如下：對于數值變量計算了五個分位點和均值，對于分類變量則計算了頻數。
也可以單獨計算Sepal.Width變量的平均值和標準差
mean(data$Sepal.Width)
sd(data$Sepal.Width) 計算分類數據Species變量的頻數表和條形圖
table(data$Species)
barplot(table(data$Species)) 對于一元數值數據，繪制直方圖和箱線圖觀察其分布是常用的方法：
hist(data$Sepal.Width)
boxplot(data$Sepal.Width) 對于二元數值數據，則可以通過散點圖來觀察規律
plot(data$Sepal.Width,Sepal.Length) 如果需要保存繪圖結果，建議使用Rstudio中的plot菜單命令，選擇save plot as image
R語言基礎入門之三：常用統計函數運算
在R語言中經常會用到函數，例如 上節中講到的求樣本統計量就需要均值函數(mean)和標準差函數(sd)。對于二元數值數據還用到協方差(cov)，對于二元分類數據則可以用交叉聯列表函數(table)。下文講述在初級統計學中最常用到的三類函數。一、數據匯總函數
我們還是以R中自帶的iris數據為例，輸入head(iris)你可以獲得數據的前6個樣本及對應的5個變量。取出最后兩列數據作為講解的對象：Species表示花的種類，Petal.Width表示花瓣寬度
data=iris[,c(4,5)] 下一步我們想計算不同種類花瓣的平均寬度，可以使用tapply函數，在計算前先用attach命令將data這個數據框解包以方便直接操作其變量，而不需再用$符號。
attach(data)
tapply(X=Petal.Width,INDEX=Species,FUN=mean) 結果如下
setosa versicolor ?virginica
0.246 ? ? ?1.326 ? ? ?2.026? 和tapply類似的還有sapply函數，在進一步講解前初學者還需搞清楚兩種數據表現方式，即stack（堆疊數據）和unstack（非堆疊數據），上面的data就是一個堆疊數據，每一行表示一個樣本。而非堆疊數據可以根據unstack函數轉換而來
data.unstack=unstack(data)
head(data.unstack) 你應該明白這二者之間的區別了，如果要對非堆疊數據計算不同種類花瓣的平均寬度，可以利用如下函數。
sapply(data.unstack,FUN=mean) 結果是一樣的，也就是說tapply對應于stack數據，而sapply對應于unstack數據
二、概率計算函數
如果給定一種概率分布，通常會有四類計算問題：
- 計算其概率密度density （d）
- 計算其概率分布probability（p）
- 計算其百分位數quantile （q）
- 隨機數模擬random （r）
舉例來講，我們求標準正態分布曲線下小于1的面積p(x<1)，正態分布是norm，而分布函數是p，那么使用pnorm(1)就得出了結果0.84；若計算扔10次硬幣實驗中有3次正面向上的概率，類似的dbinom(x=3,size=10,prob=0.5)得出0.11
三、抽樣函數
我們想從1到10中隨機抽取5個數字，那么這樣來做：首先產生一個序列，然后用sample函數進行無放回抽取。
x=1:10
sample(x,size=5) 有放回抽取則是
sample(x,size=5,replace=T) sample函數在建模中經常用來對樣本數據進行隨機的劃分，一部分作為訓練數據，另一部分作為檢驗數據。
R語言基礎入門之四：常用的統計推斷
通常一個研究項目能夠獲得的數據是有限的，以有限的樣本特征來推斷總體特征就稱為統計推斷。推斷又可細分為區間估計和假設檢驗，二者雖有區別，但卻是一枚硬幣的兩面，之間有著緊密的關聯。1 對總體均值進行區間估計
假設我們從總體中抽得一個樣本，希望根據樣本均值判斷總體均值的置信區間，如下例所示：
x=rnorm(50,mean=10,sd=5) ?#隨機生成50個均值為10，標準差為5的隨機數為作為研究對象
mean(x)-qt(0.975,49)*sd(x)/sqrt(50) ?#根據統計學區間估計公式，得到95%置信度下的區間下界
mean(x)+qt(0.975,49)*sd(x)/sqrt(50) ?#95%置信度下的區間上界
也可以直接利用R語言內置函數 t.test
t.test(x,conf.level=0.95) 從如下結果可得95%置信區間為（9.56，12.36）
One Sample t-test
data: ?x
t = 15.7301, df = 49, p-value < 2.2e-16
alternative hypothesis: true mean is not equal to 0
95 percent confidence interval:
? 9.563346 12.364729
sample estimates:
mean of x
?10.96404? 2 對總體均值進行假設檢驗
還是以上面的X數據作為對象，來檢驗總體均值是否為10
t.test(x,mu=10,alternative='two.sided') ?#這里的原假設是總體均值（mu）為10，使用雙側檢驗，得到P值為0.17，可見P值不夠小，不能夠拒絕原假設。 T檢驗是極為常用的檢驗方法，除了單樣本推斷之外，t.test命令還可以實現兩樣本推斷和配對樣本推斷。如果要對總體比率或總體方差進行推斷，可以使用 prop.test和 var.test。
3 正態分布檢驗
T檢驗的前提條件是總體服從正態分布，因此我們有必要先檢驗正態性。而且在評價回歸模型時，對殘差也需要檢驗正態性。檢驗正態性的函數是 shapiro.test
shapiro.test(x) 結果所下：
Shapiro-Wilk normality test
data: ?x
W = 0.9863, p-value = 0.8265 該檢驗的原假設是服從正態分布，由P值為0.82可判斷不能拒絕總體服從正態的假設
4 非參數檢驗
如果總體不服從正態分布，那么T檢驗就不再適用，此時我們可以利用非參數方法推斷中位數。 wilcoxon.test函數可實現符號秩檢驗。
wilcox.test(x,conf.int=T) ? #指定conf.int讓函數返回中位數的置信區間
wilcox.test(x,mu=1） ?#指定mu讓函數返回中位數為10的檢驗結果 5 獨立性檢驗（聯列表檢驗）
卡方分布有一個重要應用就是根據樣本數據來檢驗兩個分類變量的獨立性，我們以CO2數據為例來說明 chisq.test函數的使用，help(CO2)可以了解更多信息。
data(CO2) ? #讀入內置的數據包，其中Type和Treatmen是其中兩個分類變量。
chisq.test(table(CO2$Type,CO2$Treatment)) ? #使用卡方檢驗函數來檢驗這兩個因子之間是否獨立 結果顯示P值為0.82，因此可以認為兩因子之間獨立。在樣本較小的情況下，還可以使用fisher精確檢驗，對應的函數是 fisher.test。
R語言基礎入門之五：簡單線性回歸
線性回歸可能是數據分析中最為常用的工具了，如果你認為手上的數據存在著線性定量關系，不妨先畫個散點圖觀察一下，然后用線性回歸加以分析。下面簡單介紹一下如何在R中進行線性回歸。1 回歸建模
我們利用R語言中內置的trees數據，其中包含了Volume（體積）、Girth（樹圍）、Height（樹高）這三個變量，我們希望以體積為因變量，樹圍為自變量進行線性回歸。
plot(Volume~Girth,data=trees,pch=16,col='red')
model=lm(Volume~Girth,data=trees)
abline(model,lty=2)
summary(model) 首先繪制了兩變量的散點圖，然后用lm函數建立線性回歸模型，并將回歸直線加在原圖上，最后用summary將模型結果進行了展示，從變量P值和F統計量可得回歸模型是顯著的。但截距項不應該為負數，所以也可以用下面方法將截距強制為0。
model2=lm(Volume~Girth-1,data=trees) 2 模型診斷
在模型建立后會利用各種方式來檢驗模型的正確性，對殘差進行分析是常見的方法，下面我們來生成四種用于模型診斷的圖形。
par(mfrow=c(2,2))
plot(model)
par(mfrow=c(1,1))? 這里左上圖是殘差對擬合值作圖，整體呈現出一種先下降后下升的模式，顯示殘差中可能還存在未提煉出來的影響因素。右上圖殘差QQ圖，用以觀察殘差是否符合正態分布。左下圖是標準化殘差對擬合值，用于判斷模型殘差是否等方差。右下圖是標準化殘差對杠桿值，虛線表示的cooks距離等高線。我們發現31號樣本有較大的影響。
3 變量變換
因為31號樣本有著高影響力，為了降低其影響，一種方法就是將變量進行開方變換來改善回歸結果，從殘差標準誤到殘差圖，各項觀察都說明變換是有效的。
plot(sqrt(Volume)~Girth,data=trees,pch=16,col='red')
model2=lm(sqrt(Volume)~Girth,data=trees)
abline(model2,lty=2)
summary(model2)
4 模型預測
下面根據上述模型計算預測值以及置信區間，predict函數可以獲得模型的預測值，加入參數可以得到預測區間
plot(sqrt(Volume)~Girth,data=trees,pch=16,col='red')
model2=lm(sqrt(Volume)~Girth,data=trees)
data.pre=data.frame(predict(model2,interval='prediction'))
lines(data.pre$lwr~trees$Girth,col='blue',lty=2)
lines(data.pre$upr~trees$Girth,col='blue',lty=2)
我們還可以將樹圍和樹高都加入到模型中去，進行多元回歸。如果要考慮的變量很多，可以用step函數進行變量篩選，它是以AIC作為評價指標來判斷一個變量是否應該加入模型，建議使用這種自動判斷函數時要謹慎。對于嵌套模型，還可以使用anova建立方差分析表來比較模型。對于變量變換的形式，則可以使用MASS擴展包中的boxcox函數來進行COX變換。
R語言基礎入門之六（完）：Logistic回歸
讓我們用logistic回歸來結束本系列的內容吧，本文用例來自于 John Maindonald所著的 《Data Analysis and Graphics Using R》一書，其中所用的數據集是anesthetic，數據集來自于一組醫學數據，其中變量conc表示麻醉劑的用量，move則表示手術病人是否有所移動，而我們用nomove做為因變量，因為研究的重點在于conc的增加是否會使nomove的概率增加。首先載入數據集并讀取部分文件，為了觀察兩個變量之間關系，我們可以利cdplot函數來繪制條件密度圖.
library(DAAG)
head(anesthetic)
cdplot(factor(nomove)~conc,data=anesthetic,main='條件密度圖',ylab='病人移動',xlab='麻醉劑量')
從圖中可見，隨著麻醉劑量加大，手術病人傾向于靜止。下面利用logistic回歸進行建模，得到intercept和conc的系數為-6.47和5.57，由此可見麻醉劑量超過1.16(6.47/5.57)時，病人靜止概率超過50%。
anes1=glm(nomove~conc,family=binomial(link='logit'),data=anesthetic)
summary(anes1) 上面的方法是使用原始的0-1數據進行建模,即每一行數據均表示一個個體，另一種是使用匯總數據進行建模，先將原始數據按下面步驟進行匯總
anestot=aggregate(anesthetic[,c('move','nomove')],by=list(conc=anesthetic$conc),FUN=sum)
anestot$conc=as.numeric(as.character(anestot$conc))
anestot$total=apply(anestot[,c('move','nomove')],1,sum)
anestot$prop=anestot$nomove/anestot$total 得到匯總數據anestot如下所示
conc move nomove total ? ? ?prop
1 ?0.8 ? ?6 ? ? ?1 ? ? 7 0.1428571
2 ?1.0 ? ?4 ? ? ?1 ? ? 5 0.2000000
3 ?1.2 ? ?2 ? ? ?4 ? ? 6 0.6666667
4 ?1.4 ? ?2 ? ? ?4 ? ? 6 0.6666667
5 ?1.6 ? ?0 ? ? ?4 ? ? 4 1.0000000
6 ?2.5 ? ?0 ? ? ?2 ? ? 2 1.0000000 對于匯總數據，有兩種方法可以得到同樣的結果，一種是將兩種結果的向量合并做為因變量，如anes2模型。另一種是將比率做為因變量，總量做為權重進行建模，如anes3模型。這兩種建模結果是一樣的。
anes2=glm(cbind(nomove,move)~conc,family=binomial(link='logit'),data=anestot)
anes3=glm(prop~conc,family=binomial(link='logit'),weights=total,data=anestot) 根據logistic模型，我們可以使用predict函數來預測結果，下面根據上述模型來繪圖
x=seq(from=0,to=3,length.out=30)
y=predict(anes1,data.frame(conc=x),type='response')
plot(prop~conc,pch=16,col='red',data=anestot,xlim=c(0.5,3),main='Logistic回歸曲線圖',ylab='病人靜止概率',xlab='麻醉劑量')
lines(y~x,lty=2,col='blue')
?
與50位技術專家面對面20年技術見證，附贈技術全景圖總結
- 上一篇： ftpClient的连接超时设置(set
- 下一篇： R语言笔记：快速入门