hadoop入门-在windows上安装,测试hadoop
上一篇簡單敘述了怎么樣在windows上編譯hadoop,接著上一篇,這篇敘述怎么樣安裝hadoop并進行簡單的驗證安裝是否正確。編譯的機器與安裝的機器分開。
我編譯的機器是windows7,安裝的機器是windows 2008 r2.
第一步:編譯完之后,會在target目錄下生成hadoop-2.2.0.tar.gz文件,將該文件解壓到一個目錄下面,然后將整個目錄拷貝到目標機器上,盡量選擇簡單的目錄,比如e:\hd
第二步:添加HADOOP_HOME到系統環境變量里,值為e:\hd.并將%HADOOP_HOME%\bin 添加到path里面。
第三步:配置hadoop
1.修改core_site.xml文件
<configuration>
?? <property>
????? <name>fs.defaultFS</name>
????? <value>hdfs://localhost:9000</value>
?? </property>
</configuration>
2.修改hdfs-site.xml文件
<configuration>
?? <property>
????? <name>dfs.replication</name>
????? <value>1</value>
?? </property>
?? <property>
????? <name>dfs.namenode.name.dir</name>
????? <value>file:/hdp/data/dfs/namenode</value>
?? </property>
?? <property>
????? <name>dfs.datanode.data.dir</name>
????? <value>file:/hdp/data/dfs/datanode</value>
?? </property>
</configuration>
3.修改yarn-site.xml文件
<configuration>
<property>
?? <name>yarn.nodemanager.aux-services</name>
?? <value>mapreduce_shuffle</value>
</property>
<property>
?? <name>
????? yarn.nodemanager.aux-services.mapreduce_shuffle.class
?? </name>
?? <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
4.修改mapred-site.xml文件
<configuration>
??? <property>
?????? <name>mapreduce.framework.name</name>
?????? <value>yarn</value>
??? </property>
</configuration>
第四步:準備hadoop cluster
執行
cd c:/%HADOOP_HOME%/bin
hdfs namenode -format
說明:如果提示JAVA_HOME沒有設置或者設置不對,請安裝jdk,最好將jdk安裝在沒有空格的路徑里,然后設置JAVA_HOME系統變量。
第五步:啟動HDFS
執行
cd c:/%HADOOP_HOME%/sbin
start-dfs
第六步:啟動yarn
執行命令:
cd c:/%HADOOP_HOME%/sbin
start-yarn
第七步:驗證hadoop cluster是否工作
訪問http://localhost:8042和http://localhost:50070
第八步:測試cluster
執行
hadoop dfs -mkdir /test
以及
hadoop dfs -ls /
總結
以上是生活随笔為你收集整理的hadoop入门-在windows上安装,测试hadoop的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: hadoop入门-在windows上编译
- 下一篇: Linux Daemon Writing