伪分布式Hadoop2.x集群的搭建1
1. 安裝JDK
?a.查出當(dāng)前已經(jīng)安裝的JDK ?# rpm -qa | grep java?
?b.卸載原先自帶的JDK ?# rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.x86_64 tzdata-java-2012j-1.el6.noarch java-1.7.0-openjdk-1.7.0.9-2.3.4.1.el6_3.x86_64
?c.解壓安裝?# tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/modules/
?d.配置JDK的環(huán)境變量 ?
??
??
2. 創(chuàng)建hadoop普通用戶
? ?
? ?給hadoop用戶設(shè)置sudo權(quán)限,更改/etc/sudoers ,如果該文件不可寫設(shè)置權(quán)限 # chmod 640 /etc/sudoers
? ?
??
? 切換到hadoop用戶 # su - hadoop
3. 創(chuàng)建規(guī)范的軟件安裝文件
? ???
? /opt/modules # 大型軟件的安裝路徑
? /opt/softwares # 軟件源程序安裝包上傳路徑
? /opt/tools # 工具安裝路徑
? /opt/datas #數(shù)據(jù)文件存放路徑
4. 配置handoop?
? ?a. 在/opt/modules 目錄下，創(chuàng)建子目錄。更改hadoop所屬者和所屬組為hadoop
? ??
? b. 用ftp將hadoop2.5.0.tar.gz 上傳到/opt/softwares, 將hadoop2.5.0.tar.gz解壓縮到 /opt/hadoop/modules/hadoop
? ? ?
? c. 在/opt/modules/hadoop/hadoop-2.5.0/etc/hadoop 修改hadoop-env.sh
? ? ?
? d. 修改core-site.xml?
? ??
?e. 修改hdfs-site.xml
? ? 因?yàn)槭莻畏植际?所以這邊備份數(shù)量為1
? ?
? f. 格式化nameNode
? ?
? g.驗(yàn)證?
? ? 1. 啟動namenode, 用jps命令查看是否啟動成功
? ? ?
? ?2. 啟動datanode, 用jps命令查看是否啟動成功
? ? ?
? 3. 啟動secondaryNameNode,用jps命令查看進(jìn)程是否啟動成功
? ? ?
? ?4. 通過web頁面驗(yàn)證HDFS
? ? ? 打開網(wǎng)址:?http://linux.liuhui.com:50070/dfshealth.html#tab-overview ?就會看到如下頁面
? ? ?
?5. ?頁面導(dǎo)航 -->Utilities -->Browse the file ?system ?創(chuàng)建目錄。
? ? ?
? ? ??
? ? ? ?創(chuàng)建一個文件test.txt 將其文件上傳到hdfs
? ? ? ?
? ? ? ?
? ? ? ?查詢出hdfs目錄下文件?
? ? ? ??
?
轉(zhuǎn)載于:https://www.cnblogs.com/goahead327/p/5522861.html
新人創(chuàng)作打卡挑戰(zhàn)賽發(fā)博客就能抽獎！定制產(chǎn)品紅包拿不停！總結(jié)
以上是生活随笔為你收集整理的伪分布式Hadoop2.x集群的搭建1的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： JS-数组冒泡排序
- 下一篇： QT Windows下生成动态链接库