Hadoop RestFulHadoop HDFS原理1Hadoop HDFS原理2Hadoop作業調優參數調整及原理Hadoop HAHadoop MapReduce高級編程Hadoop IOHadoop MapReduce工作原理Hadoop 管理Hadoop 集群安裝Hadoop RPC第一部分：環境規劃用戶 test 密碼 test機器

主機名	IP	角色
bigdata-1	172.16.206.205	NameNode JobTrakerSencondary NameNode
bigdata-2	172.16.206.231	DataNode TaskTracker

NameNode元數據目錄/home/test/dfs/namenodeDataNode 數據存放目錄/home/test/dfs/datanodeSencondary NameNode/home/test/dfs/sencondnode第二部分：安裝JDK并配置環境變量安裝JDK并配置環境變量2 臺機器做同樣的事情更改執行權限chmod +x jdk-6u24-linux-i586.bin安裝./jdk-6u24-linux-i586.bin配置環境變量Home路徑下，打開.bashrc文件，命令如下vi .bashrc添加JAVA環境變量export JAVA_HOME=/home/hadoop/javaexport PATH=$JAVA_HOME/bin:$PATH第三部分：建立互信配置SSH配置互信每臺機器上執行$ ssh-keygen$ ssh-copy-id ? -i ? ~/.ssh/id_rsa.pub ? bigdata-1$ ssh-copy-id ? -i ? ~/.ssh/id_rsa.pub ? bigdata-2第四部分：安裝Hadoop并配置環境變量安裝并配置Hadoop的環境變量解壓Hadoop，到/home/test路徑下tar zxvf hadoop-1.0.0.tar.gz建立軟連接ln –s ? hadoop-1.0.0 ?hadoop配置環境變量vi ?.bashrc添加如下內容export HADOOP_CORE_HOME=/home/test/ hadoopexport PATH=.:$HADOOP_CORE_HOME/bin:$PATH第五部分：配置Hadoop集群core-site.xml<configuration><property><name>fs.default.name</name><value>hdfs://bigdata-1:9000</value></property><property><name>fs.checkpoint.dir</name><value>/home/test/dfs/sencondnode</value></property></configuration>hdfs-site.xml<configuration><property><name>dfs.name.dir</name><value>/home/test/dfs/namenode </value></property><property><name>dfs.data.dir</name><value> >/home/test/dfs/datanode</value></property><property><name>dfs.replication</name><value>1</value></property></configuration>mapred-site.xml<configuration><property><name>mapred.job.tracker</name><value>bigdata-1:9001</value></property></configuration>master與slavesmaster文件添加內容如下bigdata-1Slaves文件添加內容如下bigdata-2Hadoop-env.shexport JAVA_HOME=/home/tes/soft/java第六部分：啟動Hadoop集群啟動Hadoop集群hadoop namenode -formatstart-all.shstart-dfs.sh start-mapred.shhadoop-deamon.sh start ?namenodedatanodejobtrackertasktrackersencondnamenode第七部分：測試WordCount 程序測試WordCount 程序hadoop fs –mkdir inputhadoop fs –put test.txt inputhadoop jar ?hadoop-examples-*.jar ? wordcount ?input output
轉載請注明出處【 ? http://sishuok.com/forum/blogPost/list/0/5969.html 】

轉載于:https://blog.51cto.com/javasishu/1339146

總結

以上是生活随笔為你收集整理的Hadoop实战-中高级部分 之 Hadoop 集群安装的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。