Hadoop入门-单机伪分布式配置
?
為了配置的的方便建議先提升你的登錄用戶權(quán)限，本配置中凡是要在終端中輸入的命令都用紅色字體，需注意對應的目錄用了色字體標出。
啟用超級用戶 sudo passwd root（然后輸入你的超級用戶密碼）以后在終端中輸入su，再輸入該密碼就可以 用超級用戶登錄了
提升用戶權(quán)限命令，在終端中輸入sudo gedit /etc/passwd
在文件末尾找到你的登錄用戶：我的是szllong:x:1000:1000:szllong,,,:/home/szllong:/bin/bash 將其中的兩個1000改為0保存并退出，重啟電腦輸入你的用戶名和密碼（我的用戶名就是szllong，這里可能會習慣性的直接輸入密碼需注意）。
由于root登錄有助多不變，建議配置完成后，再將你的權(quán)限改回來。
接下來就可以正式安裝了。
1、安裝基礎工具
ssh
ubuntu默認并沒有安裝ssh服務，如果通過ssh鏈接ubuntu，需要自己手動安裝ssh-server。判斷是否安裝ssh服務，可以通過如下命令進行：ssh localhost
如上沒出現(xiàn) ssh: connect to host localhost port 22: Connection refused，表示沒有還沒有安裝，可以通過apt安裝，共三個，命令如下：
apt-get install ssh
apt-get install openssh-server??
sudo apt-get install rsync
很多介紹里會在前面加入sudo，這是為了要獲得root權(quán)限，這是可能還要輸入你的用戶密碼，下同
?
2、安裝JDK
下載源碼包jdk-7u4-linux-i586.tar.gz
(jdk版本可以根據(jù)需要自己下載最新版本，但在接下來環(huán)境配置時記得要改為相應版本)
將之放到目錄：/usr/lib/jvm下
（這里位置目錄可以自己定義，JDK環(huán)境變量需要對應）
進入該目錄直接解壓：tar zxvf jdk-7u4-linux-x64.tar.gz
?
3、安裝hadoop-1.0.3.tar.gz，到hadoop官網(wǎng)下載hadoop-1.0.3.tar.gz
（此時hadoop-1.0.3.tar.gz是最穩(wěn)定的版本，可以根據(jù)情況選擇其他版本）
3.1、將下載包解壓到usr目錄tar zxvf hadoop-1.0.3.tar.gz
3.2、修改hadoop-env.sh配置
這里有兩種配置方法一種是直接通過vi配置，這需要對它有一定的了解，由于我是個新手所以就直接找到該文件，然后對之進行修改（這時用具有root權(quán)限的用戶登錄就有優(yōu)勢了，因為這些配置文件的權(quán)限屬于root，普通用戶是不具有該權(quán)限的）
?
先給出通過vi 配置的方法，這是我在網(wǎng)上百度的，沒有實驗過，但這里的目錄名需要與你的先前解壓目錄相對應（即/usr/lib/jvm/jdk1.7.0_04 目錄）
-
vi conf/hadoop-env.sh
-
# 找到JAVA_HOME設置：export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_04
-
# 在文件末尾加以下內(nèi)容, 取消環(huán)境變量$HADOOP_HOME過時的警告:export HADOOP_HOME_WARN_SUPPRESS=1
配置環(huán)境變量(集群節(jié)點都要配置環(huán)境變量)
vi /etc/profile
在文件中末尾加入以下內(nèi)容：
export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_04
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=/hadoop-1.0.3
export PATH=$PATH:$HADOOP_HOME/bin
讓環(huán)境變量生效
source /etc/profile
主要配置三個文件：core-site.xml、hdfs-site.xml、mapred-site.xml使用高版本的hadoop就要修改為下面的配置：
?
Java代碼 §
配置
使用如下的 conf/core-site.xml:
?
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
Java代碼 §
配置
使用如下的 conf/hdfs-site.xml:
?
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
Java代碼 §
配置
使用如下的 conf/mapred-site.xml:
?
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
?
?
?
?
?
接下來給出直接配置方法，直接配置方法就是直接在你的安裝目錄中修改該文件，
1.在usr/hadoop1.0.3/conf目錄下找到hadoop-env.sh 文件后打開，注意因為現(xiàn)在是root用戶登錄，所以可能會出現(xiàn)一個對話框，這里要選顯示而不是執(zhí)行
找到
# export JAVA_HOME=/usr/lib/j2sdk1.5-sun
（# 表示注釋，它之后的句子不被執(zhí)行，僅起提示作用）
再該句話下加入配置環(huán)境語句（注意目錄的對應）
export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_04
在文件末尾加
export HADOOP_HOME_WARN_SUPPRESS=1
取消環(huán)境變量$HADOOP_HOME過時的警告:
2.配置環(huán)境變量
在etc目錄下找到profile文件，在其末尾加入以下內(nèi)容（這里同樣要注意目錄的對應）
export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_04
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=/hadoop-1.0.3
export PATH=$PATH:$HADOOP_HOME/bin
由于#可以起到注釋作用，你可以在這里加上
#I add something to make java-jdk active times:2012 08 24 22:36
唯一標識
讓環(huán)境變量生效
在終端中source /etc/profile
3.配置三個文件core-site.xml、hdfs-site.xml、mapred-site.xml
在usr/hadoop1.0.3/conf中找到core-site.xml文件
在<configuration>
?
</configuration>
中加入
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
找到hdfs-site.xml文件
在<configuration>
?
</configuration>
中加入
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
找到mapred-site.xml文件
在<configuration>
?
</configuration>
中加入
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
?
4.在終端中輸入ssh localhost如果需要輸入密碼則輸入密碼后運行以下兩條命令，
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa?
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
這是為了，配置自由登錄hadoop的密碼，第一句是產(chǎn)生，第二句是分發(fā)
?
5.用cd命令進入usr/hadoop1.0.3中 輸入bin/hadoop namenode -format進行格式化
6.?輸入bin/start-all.sh啟動hadoop
7.在瀏覽器中輸入?http://localhost:50070/，如顯示的有磁盤容量表示已經(jīng)配置成功。
注意因定要進入hadoop安裝目錄后再運行bin...命令，否則會出現(xiàn)找不到文件或文件夾
轉(zhuǎn)載于:https://blog.51cto.com/szllong/972894
總結(jié)
以上是生活随笔為你收集整理的Hadoop入门-单机伪分布式配置的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： EOF标准输入
- 下一篇： python代码风格检查工具──pyli