hadoop的伪分布安装(低版本)
生活随笔
收集整理的這篇文章主要介紹了
hadoop的伪分布安装(低版本)
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
1.hadoop的偽分布安裝
1.1.使用root用戶,密碼是hadoop登錄的。
1.2.修改linux的ip地址
??? 操作:(1)在linux桌面的右上角圖標,右擊,選擇Edit Connections...
?? ?????? 選擇ipv4的手工方式設置ip為192.168.80.100,掩碼255.255.255.0,網管是192.168.80.1
?? ? ?? ?? 一步步保存退出。
?? ??? ?? (2)在終端執行命令service network restart
?? ?驗證:執行命令ifconfig
1.3.windows下使用PieTTY進行遠程連接
??? 操作:(1)設置VMware的網絡連接方式為host-only
????????? (2)保證windows下的網絡連接VMnet1啟用狀態,并且設置其ip地址為192.168.80.1。
??? 驗證:使用PieTTY進行遠程連接
1.4.設置hostname
??? 操作:修改文件vi /etc/sysconfig/network?? ?
?? ?????? 把hostname改為hadoop0
?? ??? ?? 保存退出。
??? 驗證:重啟linux
1.5.ip與hostname綁定
??? 操作:修改文件vi /etc/hosts,增加一行代碼,如下
?? ??????? 192.168.80.100 hadoop0
??? 驗證:ping hadoop0
1.6.關閉防火墻
??? 操作:執行命令service iptables stop
??? 驗證: 執行命令service iptables status
1.7.關閉防火墻的自動運行
??? 操作:執行命令chkconfig iptables off
??? 驗證:執行命令chkconfig --list|grep iptables
1.8.使用SSH進行免密碼登錄
??? 操作:(1)產生密鑰,執行命令ssh-keygen -t rsa,產生的密鑰文件位于~/.ssh文件夾中
?? ????? (2)執行命令cp?? ~/.ssh/id_rsa.pub?? ~/.ssh/authorized_keys
?? ?驗證:ssh localhost
1.9.安裝jdk
??? 操作:(1)把jdk放到/usr/local目錄下,然后cd? /usr/local目錄下
?? ????? (2)賦予執行權限 chmod u+x jdk-6u24-linux-i586.bin
???????? (3)使用./jdk-6u24-linux-i586.bin進行解壓縮
?? ??? ? (4)重命名,執行命令 mv? jdk1.6.0_24? jdk
?? ??? ? (5)設置環境變量,編輯文件vi /etc/profile,增加兩行記錄
?? ??? ????? export JAVA_HOME=/usr/local/jdk
?? ??? ??? ? export PATH=.:$JAVA_HOME/bin:$PATH
?? ??? ??? ? 保存退出
?? ??? ? (6)執行命令source /etc/profile
?? ?驗證:執行命令java -version
1.10.安裝hadoop
??? 操作:(1)解壓縮,命令tar -zxvf hadoop-1.1.2.tar.gz
?? ?????? (2)重命名,命令mv hadoop-1.1.2 hadoop
?? ??? ?? (3)設置環境變量,修改vi /etc/profile
?? ??? ????? export HADOOP_HOME_WARN_SUPPRESS=1
?? ??? ????? export JAVA_HOME=/usr/local/jdk
?? ??? ??? ? export HADOOP_HOME=/usr/local/hadoop
?? ??? ??? ? export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
?? ??? ??? ? 保存退出
?? ??? ?? (4)執行命令source /etc/profile
?? ??? ?? (5)修改hadoop的目錄$HADOOP_HOME/conf目錄下的配置文件
?? ??? ????? <1>編輯文件hadoop-env.sh
?? ??? ??? ???? 修改第9行? export JAVA_HOME=/usr/local/jdk
?? ??? ??? ? <2>編輯文件core-site.xml
?? ??? ??? ??? ??? ?<configuration>
?? ??? ??? ??? ??? ??? ?<property>
?? ??? ??? ??? ??? ??? ??? ?<name>fs.default.name</name>
?? ??? ??? ??? ??? ??? ??? ?<value>hdfs://hadoop0:9000</value>
?? ??? ??? ??? ??? ??? ??? ?<description>change your own hostname</description>
?? ??? ??? ??? ??? ??? ?</property>
?? ??? ??? ??? ??? ??? ?<property>
?? ??? ??? ??? ??? ??? ??? ?<name>hadoop.tmp.dir</name>
?? ??? ??? ??? ??? ??? ??? ?<value>/usr/local/hadoop/tmp</value>
?? ??? ??? ??? ??? ??? ?</property> ?
?? ??? ??? ??? ??? ?</configuration>
?? ??? ??? ? <3>編輯文件hdfs-site.xml
?? ??? ??? ??? ??? ?<configuration>
?? ??? ??? ??? ??? ??? ?<property>
?? ??? ??? ??? ??? ??? ??? ?<name>dfs.replication</name>
?? ??? ??? ??? ??? ??? ??? ?<value>1</value>
?? ??? ??? ??? ??? ??? ?</property>
?? ??? ??? ??? ??? ??? ?<property>
?? ??? ??? ??? ??? ??? ??? ?<name>dfs.permissions</name>
?? ??? ??? ??? ??? ??? ??? ?<value>false</value>
?? ??? ??? ??? ??? ??? ?</property>
?? ??? ??? ??? ??? ?</configuration>?? ??? ??? ?
?? ??? ??? ? <4>編輯文件mapred-site.xml
?? ??? ??? ??? ??? ?<configuration>
?? ??? ??? ??? ??? ??? ?<property>
?? ??? ??? ??? ??? ??? ??? ?<name>mapred.job.tracker</name>
?? ??? ??? ??? ??? ??? ??? ?<value>hadoop0:9001</value>
?? ??? ??? ??? ??? ??? ??? ?<description>change your own hostname</description>
?? ??? ??? ??? ??? ??? ?</property>
?? ??? ??? ??? ??? ?</configuration>?? ??? ? ?
?? ??? ?? (6)格式化文件系統,執行命令hadoop namenode -format
?? ??? ?? (7)啟動,執行start-all.sh
?? ??? ?驗證:(1)執行jps,發現5個新的java進程,分別是NameNode、DataNode、SecondaryNameNode、JobTracker、TaskTracker
?? ??? ????? (2)通過瀏覽器查看,訪問http://hadoop0:50070或者http://hadoop0:50030查看
?? ??? ??? ???? 在windows上修改文件C:\Windows\System32\drivers\etc\hosts
1.11 啟動hadoop是出錯的常見錯誤
??? (1)command not found
??? (2)unknonw hostname hadoop0
??????????? ??? ??? ? ?
?? ?
?? ??? ??? ?
?? ????? ?
?? ?
?? ?
?? ?
?? ?
2.VMWare的網絡連接方式
2.1 host-only,linux與windows使用專用網絡,與外網物理隔離。
2.2 bridge,linux直接接入到windows所在的網絡中,linux可以與其他機器通信。
???
1.1.使用root用戶,密碼是hadoop登錄的。
1.2.修改linux的ip地址
??? 操作:(1)在linux桌面的右上角圖標,右擊,選擇Edit Connections...
?? ?????? 選擇ipv4的手工方式設置ip為192.168.80.100,掩碼255.255.255.0,網管是192.168.80.1
?? ? ?? ?? 一步步保存退出。
?? ??? ?? (2)在終端執行命令service network restart
?? ?驗證:執行命令ifconfig
1.3.windows下使用PieTTY進行遠程連接
??? 操作:(1)設置VMware的網絡連接方式為host-only
????????? (2)保證windows下的網絡連接VMnet1啟用狀態,并且設置其ip地址為192.168.80.1。
??? 驗證:使用PieTTY進行遠程連接
1.4.設置hostname
??? 操作:修改文件vi /etc/sysconfig/network?? ?
?? ?????? 把hostname改為hadoop0
?? ??? ?? 保存退出。
??? 驗證:重啟linux
1.5.ip與hostname綁定
??? 操作:修改文件vi /etc/hosts,增加一行代碼,如下
?? ??????? 192.168.80.100 hadoop0
??? 驗證:ping hadoop0
1.6.關閉防火墻
??? 操作:執行命令service iptables stop
??? 驗證: 執行命令service iptables status
1.7.關閉防火墻的自動運行
??? 操作:執行命令chkconfig iptables off
??? 驗證:執行命令chkconfig --list|grep iptables
1.8.使用SSH進行免密碼登錄
??? 操作:(1)產生密鑰,執行命令ssh-keygen -t rsa,產生的密鑰文件位于~/.ssh文件夾中
?? ????? (2)執行命令cp?? ~/.ssh/id_rsa.pub?? ~/.ssh/authorized_keys
?? ?驗證:ssh localhost
1.9.安裝jdk
??? 操作:(1)把jdk放到/usr/local目錄下,然后cd? /usr/local目錄下
?? ????? (2)賦予執行權限 chmod u+x jdk-6u24-linux-i586.bin
???????? (3)使用./jdk-6u24-linux-i586.bin進行解壓縮
?? ??? ? (4)重命名,執行命令 mv? jdk1.6.0_24? jdk
?? ??? ? (5)設置環境變量,編輯文件vi /etc/profile,增加兩行記錄
?? ??? ????? export JAVA_HOME=/usr/local/jdk
?? ??? ??? ? export PATH=.:$JAVA_HOME/bin:$PATH
?? ??? ??? ? 保存退出
?? ??? ? (6)執行命令source /etc/profile
?? ?驗證:執行命令java -version
1.10.安裝hadoop
??? 操作:(1)解壓縮,命令tar -zxvf hadoop-1.1.2.tar.gz
?? ?????? (2)重命名,命令mv hadoop-1.1.2 hadoop
?? ??? ?? (3)設置環境變量,修改vi /etc/profile
?? ??? ????? export HADOOP_HOME_WARN_SUPPRESS=1
?? ??? ????? export JAVA_HOME=/usr/local/jdk
?? ??? ??? ? export HADOOP_HOME=/usr/local/hadoop
?? ??? ??? ? export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
?? ??? ??? ? 保存退出
?? ??? ?? (4)執行命令source /etc/profile
?? ??? ?? (5)修改hadoop的目錄$HADOOP_HOME/conf目錄下的配置文件
?? ??? ????? <1>編輯文件hadoop-env.sh
?? ??? ??? ???? 修改第9行? export JAVA_HOME=/usr/local/jdk
?? ??? ??? ? <2>編輯文件core-site.xml
?? ??? ??? ??? ??? ?<configuration>
?? ??? ??? ??? ??? ??? ?<property>
?? ??? ??? ??? ??? ??? ??? ?<name>fs.default.name</name>
?? ??? ??? ??? ??? ??? ??? ?<value>hdfs://hadoop0:9000</value>
?? ??? ??? ??? ??? ??? ??? ?<description>change your own hostname</description>
?? ??? ??? ??? ??? ??? ?</property>
?? ??? ??? ??? ??? ??? ?<property>
?? ??? ??? ??? ??? ??? ??? ?<name>hadoop.tmp.dir</name>
?? ??? ??? ??? ??? ??? ??? ?<value>/usr/local/hadoop/tmp</value>
?? ??? ??? ??? ??? ??? ?</property> ?
?? ??? ??? ??? ??? ?</configuration>
?? ??? ??? ? <3>編輯文件hdfs-site.xml
?? ??? ??? ??? ??? ?<configuration>
?? ??? ??? ??? ??? ??? ?<property>
?? ??? ??? ??? ??? ??? ??? ?<name>dfs.replication</name>
?? ??? ??? ??? ??? ??? ??? ?<value>1</value>
?? ??? ??? ??? ??? ??? ?</property>
?? ??? ??? ??? ??? ??? ?<property>
?? ??? ??? ??? ??? ??? ??? ?<name>dfs.permissions</name>
?? ??? ??? ??? ??? ??? ??? ?<value>false</value>
?? ??? ??? ??? ??? ??? ?</property>
?? ??? ??? ??? ??? ?</configuration>?? ??? ??? ?
?? ??? ??? ? <4>編輯文件mapred-site.xml
?? ??? ??? ??? ??? ?<configuration>
?? ??? ??? ??? ??? ??? ?<property>
?? ??? ??? ??? ??? ??? ??? ?<name>mapred.job.tracker</name>
?? ??? ??? ??? ??? ??? ??? ?<value>hadoop0:9001</value>
?? ??? ??? ??? ??? ??? ??? ?<description>change your own hostname</description>
?? ??? ??? ??? ??? ??? ?</property>
?? ??? ??? ??? ??? ?</configuration>?? ??? ? ?
?? ??? ?? (6)格式化文件系統,執行命令hadoop namenode -format
?? ??? ?? (7)啟動,執行start-all.sh
?? ??? ?驗證:(1)執行jps,發現5個新的java進程,分別是NameNode、DataNode、SecondaryNameNode、JobTracker、TaskTracker
?? ??? ????? (2)通過瀏覽器查看,訪問http://hadoop0:50070或者http://hadoop0:50030查看
?? ??? ??? ???? 在windows上修改文件C:\Windows\System32\drivers\etc\hosts
1.11 啟動hadoop是出錯的常見錯誤
??? (1)command not found
??? (2)unknonw hostname hadoop0
??????????? ??? ??? ? ?
?? ?
?? ??? ??? ?
?? ????? ?
?? ?
?? ?
?? ?
?? ?
2.VMWare的網絡連接方式
2.1 host-only,linux與windows使用專用網絡,與外網物理隔離。
2.2 bridge,linux直接接入到windows所在的網絡中,linux可以與其他機器通信。
???
轉載于:https://www.cnblogs.com/TendToBigData/p/10501457.html
總結
以上是生活随笔為你收集整理的hadoop的伪分布安装(低版本)的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 【转】Xcode7.1环境下上架iOS
- 下一篇: 文件字符流 编码判断