大数据工具使用——安装Hadoop（多台服务器）和Hive、Hbase
1.配置環(huán)境版本
資料上傳百度云，自取：鏈接：https://pan.baidu.com/s/1evVp5Zk0_X7VdjKlHGkYCw?提取碼：ypti?
復(fù)制這段內(nèi)容后打開百度網(wǎng)盤手機(jī)App，操作更方便哦
（之前安裝的是apache版本的Hadoop2.6.4,在啟動(dòng)hive的時(shí)候，報(bào)錯(cuò)，無奈又統(tǒng)一換成CDH）
2.安裝前的配置工作
2.1 安裝jdk
（1）下載jdk
（2）解壓，然后在/etc/profile文件配置環(huán)境變量
export JAVA_HOME=/home/jdk1.8.0_131 export PATH=${JAVA_HOME}/bin:${PATH}2.2 ssh免密登錄
ssh-keygen根據(jù)文件的路徑更改:
cp /root/.ssh/id_rsa.pub /root/.ssh/authoried_keys用命令測試：
ssh localhost2.3 mysql安裝（hive環(huán)境會(huì)需要）
可參考菜鳥教程：https://www.runoob.com/linux/mysql-install-setup.html
我的數(shù)據(jù)庫是遠(yuǎn)程的，需要配置mysql的遠(yuǎn)程連接
2.4配置IP
設(shè)置/etc/hosts，兩臺(tái)服務(wù)器都需要更改，我的是兩臺(tái)，一個(gè)master，一個(gè)data，括號(hào)里邊不寫入。
IP地址 hostname （master） IP地址 hostname （data）3.安裝Hadoop
（1）下載文件
（2）分別解壓到服務(wù)器上，設(shè)置環(huán)境變量
環(huán)境變量配置：
export HADOOP_HOME=/home/hadoop-2.6.0-cdh5.15.1 export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS=-Djava.library.path=$HADOOP_HOME/lib export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-DJava.library.path=$HADOOP_HOME/lib" export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop #export YARN_CONF_IR=/home/hadoop-2.6.4/etc/hadoop export HADOOP_CLASSPATH=${JAVA_HOME}/lib/tools.jar記得用source /etc/profile生效！！！
（3）配置文件
- 配置master服務(wù)器
進(jìn)入hadoop文件目錄/etc/hadoop/core-site.xml：
<configuration> <property> <name>fs.default.name</name> <value>hdfs://master:9000</value> </property> </configuration>進(jìn)入hadoop文件目錄/etc/hadoop/hdfs-site.xml：
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <!--<property> <name>dfs.namenode.name.dir</name> <value>file:/home/hadoop-2.6.0-cdh5.15.1/hadoop_data/hdfs/namenode</value> </property> --></configuration>進(jìn)入hadoop文件目錄/etc/hadoop/mapred-site.xml：
<configuration> <property> <name>mapred.job.tracker</name> <value>master:54311</value> </property> </configuration>進(jìn)入hadoop文件目錄/etc/hadoop/yarn-site.xml：
<configuration><!-- Site specific YARN configuration properties --> <property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property> <property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property> <property><name>yarn.resourcemanager.resource-tracker.address</name><value>master:8025</value></property> <property><name>yarn.resourcemanager.scheduler.address</name><value>master:8030</value></property> <property><name>yarn.resourcemanager.address</name><value>master:8050</value></property></configuration>在hadoop文件目錄/etc/hadoop/新建masters文件，并鍵入master
在hadoop文件目錄/etc/hadoop/新建slaves文件，并鍵入data（如果有多個(gè)data服務(wù)器，分別寫入，例如data1，data2，data3）
- 配置data服務(wù)器
進(jìn)入hadoop文件目錄/etc/hadoop/core-site.xml：
<configuration> <property> <name>fs.default.name</name> <value>hdfs://master:9000</value> </property> </configuration>進(jìn)入hadoop文件目錄/etc/hadoop/hdfs-site.xml：
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/home/hadoop-2.6.0-cdh5.15.1/hadoop_data/hdfs/datanode</value> </property> </configuration>進(jìn)入hadoop文件目錄/etc/hadoop/mapred-site.xml：
<configuration> <property> <name>mapred.job.tracker</name> <value>master:54311</value> </property> </configuration>進(jìn)入hadoop文件目錄/etc/hadoop/yarn-site.xml：
<configuration><!-- Site specific YARN configuration properties --> <property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property> <property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property> <property><name>yarn.resourcemanager.resource-tracker.address</name><value>master:8025</value></property> <property><name>yarn.resourcemanager.scheduler.address</name><value>master:8030</value></property> <property><name>yarn.resourcemanager.address</name><value>master:8050</value></property></configuration>（4）啟動(dòng)
進(jìn)入hadoop文件目錄/sbin,啟動(dòng)start-all.sh，也可以分別啟動(dòng)start-dfs.sh和start-yarn.sh
（5）查看
- master服務(wù)器，啟動(dòng)了NameNode節(jié)點(diǎn)：
- data服務(wù)器，啟動(dòng)了DataNode節(jié)點(diǎn)：
4.安裝Hbase
（1）下載Hbase解壓
（2）配置環(huán)境變量
export HBASE_HOME=/home/hbase-1.2.0-cdh5.15.1 export PATH=$PATH:$HBASE_HOME/bin（3）配置文件
進(jìn)入Hbase安裝目錄/conf/hbase-env.sh,更改
進(jìn)入Hbase安裝目錄/conf/hbase-site.xml,更改
<configuration><property><name>hbase.rootdir</name><value>file:/home/hbase-1.2.0-cdh5.15.1/hbase_data</value></property></configuration>（4）啟動(dòng)
輸入hbase shell
5.安裝Hive
（1）下載Hive解壓
（2）配置環(huán)境變量
export HIVE_HOME=/home/hive-1.1.0-cdh5.15.1 export PATH=:$JAVA_HOME/bin:$MAVEN_HOME/bin:$FINDBUGS_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SQOOP_HOME/bin:$HIVE_HOME/bin:$PATH（3）配置文件
進(jìn)入Hive安裝目錄/conf/hive-env.sh,更改
export HADOOP_HOME=/home/hadoop-2.6.0-cdh5.15.1/ export HBASE_HOME=/home/hbase-1.2.0-cdh5.15.1進(jìn)入Hive安裝目錄/conf/hive-site.sh,更改
<configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://IP地址:3306/hive?createDatabaseIfNotExsit=true;characterEncoding=utf8&useSSL=false</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>root</value> </property> </configuration>設(shè)置了遠(yuǎn)程連接mysql數(shù)據(jù)庫，hive數(shù)據(jù)庫是默認(rèn)的，不能更改，需要在mysql提前新建。
（4）啟動(dòng)
輸入hive啟動(dòng)
如果報(bào)終端Jline包錯(cuò)誤的話，需要將hadoop文件目錄/share/hadoop/yarn/lib/下的jline包和Hive安裝目錄/lib/的jline包版本一致！！！
安裝告一段落，剩下繼續(xù)！
?
總結(jié)
以上是生活随笔為你收集整理的大数据工具使用——安装Hadoop（多台服务器）和Hive、Hbase的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 软件测试用例的概述
- 下一篇： SVN 如何把一个项目的版本回退到指定版