目標：

安裝測試本地單機Hadoop。

花費時間：10分鐘

前提：

java環境已經準備好

hadoop有三種運行方式，單機版包括直接本地運行，假多點環境，多點集群環境。本文測試第一種方法，快速部署hadoop應用。

開始：

下載

wget http://labs.renren.com/apache-mirror/hadoop/common/hadoop-1.0.3/hadoop-1.0.3.tar.gz

60MB大小

解壓

tar -zxvf hadoop-1.0.3.tar.gz

配置

[www.linuxidc.com@Hadoop48 ~]$ echo $JAVA_HOME

/usr/java/jdk1.7.0

cd hadoop-1.0.3

[www.linuxidc.com@Hadoop48 hadoop-1.0.3]$ vi conf/hadoop-env.sh

#將注釋去掉，設置JAVA_HOME環境變量

export JAVA_HOME=/usr/java/jdk1.7.0

測試：

[www.linuxidc.com@Hadoop46 hadoop-1.0.3]$ ./bin/hadoop

Usage: hadoop [--config confdir] COMMAND

…

執行例子程序中的grep

[www.linuxidc.com@Hadoop48 hadoop-1.0.3]$ mkdir input

[www.linuxidc.com@Hadoop48 hadoop-1.0.3]$ cp conf/* input

[www.linuxidc.com@Hadoop48 hadoop-1.0.3]$ ./bin/hadoop jar hadoop-examples-1.0.3.jar grep input output ‘[a-z.]+’

12/05/22 18:03:32 INFO util.NativeCodeLoader: Loaded the native-hadoop library

12/05/22 18:03:32 WARN snappy.LoadSnappy: Snappy native library not loaded

…

[www.linuxidc.com@Hadoop46 hadoop-1.0.3]$ cat output/*

117 value

99 property

91 name

88 description

85 the

77 of

…

測試mapreduce 例子wordcount，單詞計數：

[www.linuxidc.com@Hadoop46 hadoop-1.0.3]$ rm -r output

[www.linuxidc.com@Hadoop46 hadoop-1.0.3]$ ./bin/hadoop jar hadoop-examples-1.0.3.jar wordcount input output

12/05/22 18:32:54 INFO util.NativeCodeLoader: Loaded the native-hadoop library

12/05/22 18:32:55 INFO input.FileInputFormat: Total input paths to process : 16

…

12/05/22 18:33:47 INFO mapred.JobClient: Map output records=2587

[www.linuxidc.com@Hadoop46 hadoop-1.0.3]$

可以看到花費將近1分鐘計算單詞數

[www.linuxidc.com@Hadoop46 hadoop-1.0.3]$ ls output/

part-r-00000 _SUCCESS

[www.linuxidc.com@Hadoop46 hadoop-1.0.3]$ cat output/*

“”. 4

“*” 10

“alice,bob 10

“console” 1

“hadoop.root.logger”. 1

“jks”. 4

…

which 17

who 3

will 8

with 5

worker 1

would 7

xmlns:xsl=”http://www.w3.org/1999/XSL/Transform” 1

you 1

10分鐘內完成。

總結

以上是生活随笔為你收集整理的linux hadoop测试,快速搭建Hadoop环境并测试mapreduce的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。