Hadoop主要用來存儲海量數據，R語言完成MapReduce 算法，用來替代Java的MapReduce實現。有了RHadoop可以讓廣大的R語言愛好者，有更強大的工具處理大數據1G, 10G, 100G, TB, PB。 由于大數據所帶來的單機性能問題，可能會一去不復返了。 最近的一本新書Big Data Analytics with R and Hadoop是關于R和Hadoop實踐的第一本圖書。 RHadoop的發布頁：https://github.com/RevolutionAnalytics/RHadoop/wiki

RHadoop實踐系列文章：http://blog.fens.me/series-rhadoop/

Haddop環境準備
但JDK一定要用Oracle SUN官方的版本，請從官網下載，操作系統的自帶的OpenJDK會有各種不兼容。JDK請選擇1.6.x的版本，JDK1.7版本也會有各種的不兼容情況。
http://www.oracle.com/technetwork/java/javase/downloads/index.html

完全分步式的Hadoop集群，這個選擇5臺一樣配置的虛擬機，通過內網的一個DNS服務器，指定5臺虛擬機所對應的域名。
每臺虛擬機，1G內存，系統硬盤2G，外接硬盤16G。hadoop會存儲在外接硬盤上面。

外接硬盤，需要先進行格式化，然后創建目錄，再mount到操作系統，通過修改/etc/fstab配置，系統每次重起都是自動加載外接硬盤。
(如果用戶操作系統的硬盤夠大，不用外接硬盤，這步可以省略)

接下來，為hadoop集群創建訪問賬號hadoop，創建訪問組hadoop，創建用戶目錄/home/hadoop，把賬號，組和用戶目錄綁定。

再為hadoop的hdfs創建存儲位置/hadoop/conan/data0，給hadoop用戶權限。

設置SSH自動登陸，從nn.qa.com虛擬機開始，通過ssh-keygen命令，生成id_rsa.pub，再合并到 authorized_keys的文件。再通過scp把authorized_keys復制到其他的虛擬機。循環生成authorized_keys并合并文件。使得5臺虛擬機，都有了相互的SSH自動登陸的配置。
1：下載RHadoop相關軟件包，放置在/mnt/mydisk/R/目錄下
http://www.r-project.org/
R語言包
https://github.com/RevolutionAnalytics/RHadoop/wiki/Downloads
rhdfs R使用HDFS相關軟件包
rmr R使用MapReduce相關軟件包
rhbase R使用Hbase相關軟件包

總結

以上是生活随笔為你收集整理的RHadoop（一）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。