RHadoop搭建(HBase)
生活随笔
收集整理的這篇文章主要介紹了
RHadoop搭建(HBase)
小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
* 實(shí)驗(yàn)環(huán)境:
**************************************************************************************
hadoop集群(virtualBox虛擬機(jī),CentOS6.4)
hadoop1 192.168.100.171(hadoop master、secondaryname、zookeeper、hbase HMaster)
hadoop2 192.168.100.172(zookeeper、hbase HRegion、Hive Shell)
hadoop3 192.168.100.173(hadoop slave、zookeeper、hbase HRegion)
hadoop4 192.168.100.174(hadoop slave、zookeeper、hbase HRegion)
hadoop5 192.168.100.175(hadoop slave、zookeeper、hbase HRegion)
dataserver 192.168.100.141(Hive metastore、MySQL Server、Oracle)
相關(guān)的安裝文檔: hadoop2.2.0測(cè)試環(huán)境搭建???? Hbase0.96.0 +hadoop2.2.0安裝???? RHadoop搭建(HDFS+MapReduce)
**************************************************************************************
本次測(cè)試在dataserver進(jìn)行
1:安裝thrift0.9.1
[root@dataserver app]# sudo yum install automake libtool flex bison pkgconfig gcc-c++ boost-devel libevent-devel zlib-devel python-devel ruby-devel
[root@dataserver app]# tar zxf /mnt/mydisk/soft/program/thrift-0.9.1.tar.gz
[root@dataserver app]# cd thrift-0.9.1
[root@dataserver thrift-0.9.1]# ./configure
**************************************************************************************
?注意安裝thrift安裝上要使用Python庫(kù),如果要使用其他語(yǔ)言就安裝上相應(yīng)的語(yǔ)言庫(kù)
**************************************************************************************
[root@dataserver thrift-0.9.1]# make
**************************************************************************************
?注意如果要編譯C++庫(kù)的話,會(huì)出現(xiàn)上面的錯(cuò)誤,原因是編譯文件路徑有問(wèn)題,可以將已經(jīng)編譯的test/cpp/*.o復(fù)制到test/cpp/.libs后,繼續(xù)編譯就可以了。當(dāng)然不怕麻煩的話,可以修改一下編譯文件。
[root@dataserver thrift-0.9.1] cd test/cpp
[root@dataserver cpp]# cp *.o .libs/
**************************************************************************************
[root@dataserver thrift-0.9.1]# make install
[root@dataserver thrift-0.9.1]# thrift --version
2:安裝rhase
[root@dataserver /]# export PKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/local/lib/pkgconfig/
[root@dataserver /]# pkg-config --cflags thrift
**************************************************************************************
正確的返回結(jié)果是:
-I/usr/local/include/thrift
如果是:
-I/usr/local/include
則:
[root@dataserver /]# vi /usr/local/lib/pkgconfig/thrift.pc
Cflags: -I${includedir}/thrift
**************************************************************************************
[root@dataserver lib]# cp /usr/local/lib/libthrift-0.9.1.so /usr/lib/
[root@dataserver lib]# /sbin/ldconfig /usr/lib/libthrift-0.9.1.so
**************************************************************************************
注意要將動(dòng)態(tài)鏈接庫(kù)libthrift-0.9.1.so為系統(tǒng)所共享,不然會(huì)出現(xiàn)類似unable to load shared object '/usr/lib64/R/library/rhbase/libs/rhbase.so':libthrift-0.9.1.so: cannot open shared object file的錯(cuò)誤
**************************************************************************************
[root@dataserver usr]# R CMD INSTALL /mnt/mydisk/soft/R/rhbase_1.2.0.tar.gz
3:啟動(dòng)hadoop集群、zookeeper集群、HBase集群
4:rhbase測(cè)試
?
花了一個(gè)晚上終于搞定,接下去可以在rstudio里方便的應(yīng)用rhbase了。
**************************************************************************************
hadoop集群(virtualBox虛擬機(jī),CentOS6.4)
hadoop1 192.168.100.171(hadoop master、secondaryname、zookeeper、hbase HMaster)
hadoop2 192.168.100.172(zookeeper、hbase HRegion、Hive Shell)
hadoop3 192.168.100.173(hadoop slave、zookeeper、hbase HRegion)
hadoop4 192.168.100.174(hadoop slave、zookeeper、hbase HRegion)
hadoop5 192.168.100.175(hadoop slave、zookeeper、hbase HRegion)
dataserver 192.168.100.141(Hive metastore、MySQL Server、Oracle)
相關(guān)的安裝文檔: hadoop2.2.0測(cè)試環(huán)境搭建???? Hbase0.96.0 +hadoop2.2.0安裝???? RHadoop搭建(HDFS+MapReduce)
**************************************************************************************
本次測(cè)試在dataserver進(jìn)行
1:安裝thrift0.9.1
[root@dataserver app]# sudo yum install automake libtool flex bison pkgconfig gcc-c++ boost-devel libevent-devel zlib-devel python-devel ruby-devel
[root@dataserver app]# tar zxf /mnt/mydisk/soft/program/thrift-0.9.1.tar.gz
[root@dataserver app]# cd thrift-0.9.1
[root@dataserver thrift-0.9.1]# ./configure
**************************************************************************************
?注意安裝thrift安裝上要使用Python庫(kù),如果要使用其他語(yǔ)言就安裝上相應(yīng)的語(yǔ)言庫(kù)
**************************************************************************************
[root@dataserver thrift-0.9.1]# make
**************************************************************************************
?注意如果要編譯C++庫(kù)的話,會(huì)出現(xiàn)上面的錯(cuò)誤,原因是編譯文件路徑有問(wèn)題,可以將已經(jīng)編譯的test/cpp/*.o復(fù)制到test/cpp/.libs后,繼續(xù)編譯就可以了。當(dāng)然不怕麻煩的話,可以修改一下編譯文件。
[root@dataserver thrift-0.9.1] cd test/cpp
[root@dataserver cpp]# cp *.o .libs/
**************************************************************************************
[root@dataserver thrift-0.9.1]# make install
[root@dataserver thrift-0.9.1]# thrift --version
2:安裝rhase
[root@dataserver /]# export PKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/local/lib/pkgconfig/
[root@dataserver /]# pkg-config --cflags thrift
**************************************************************************************
正確的返回結(jié)果是:
-I/usr/local/include/thrift
如果是:
-I/usr/local/include
則:
[root@dataserver /]# vi /usr/local/lib/pkgconfig/thrift.pc
Cflags: -I${includedir}/thrift
**************************************************************************************
[root@dataserver lib]# cp /usr/local/lib/libthrift-0.9.1.so /usr/lib/
[root@dataserver lib]# /sbin/ldconfig /usr/lib/libthrift-0.9.1.so
**************************************************************************************
注意要將動(dòng)態(tài)鏈接庫(kù)libthrift-0.9.1.so為系統(tǒng)所共享,不然會(huì)出現(xiàn)類似unable to load shared object '/usr/lib64/R/library/rhbase/libs/rhbase.so':libthrift-0.9.1.so: cannot open shared object file的錯(cuò)誤
**************************************************************************************
[root@dataserver usr]# R CMD INSTALL /mnt/mydisk/soft/R/rhbase_1.2.0.tar.gz
3:啟動(dòng)hadoop集群、zookeeper集群、HBase集群
4:rhbase測(cè)試
?
花了一個(gè)晚上終于搞定,接下去可以在rstudio里方便的應(yīng)用rhbase了。
轉(zhuǎn)載于:https://my.oschina.net/victorlovecode/blog/344243
總結(jié)
以上是生活随笔為你收集整理的RHadoop搭建(HBase)的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: Linux 监控命令 iostat
- 下一篇: Python 第三方模块之 MySQL数