Ubantu12.04下hadoop-1.2.1運(yùn)行第一個(gè)例子wordcount過(guò)程，分享一下

將WordCount.java文件放在Hadoop安裝目錄下，并在安裝目錄下創(chuàng)建輸入目錄input，目錄下有輸入文件file1，file2，其中：

　　file1內(nèi)容：hello world

　　file2內(nèi)容：hello hadoop

　　　　　　??? hello mapreduce

準(zhǔn)備好之后在命令行輸入運(yùn)行，下面對(duì)執(zhí)行的命令進(jìn)行介紹：

注：在此之前必須啟動(dòng)hadoop的所有服務(wù)。

　　在啟動(dòng)之前，需要格式化Hadoop的文件系統(tǒng)HDFS ，進(jìn)入Hadoop文件夾。輸入命令：bin/hadoop namenode -format

　　格式化文件系統(tǒng)，接下來(lái)啟動(dòng)Hadoop所有進(jìn)程，輸入命令：bin/start-all.sh(中間無(wú)空格)

　　然后查看是否啟動(dòng)成功，輸入命令：jps　　

　　如下所示即可：

　　　　wangnan@slave1:~/hadoop-1.2.1$ jps
　　　　3866 DataNode
　　　　4102 SecondaryNameNode
　　　　4192 JobTracker
　　　　4430 TaskTracker
　　　　8576 Jps
　　　　4700 NameNode

（1）在集群上創(chuàng)建輸入文件夾

　　bin/hadoop fs -mkdir wordcount_input

（2）上傳本地目錄input下前四個(gè)字符的為file的文件到集群上的 input 目錄下：

　　bin/hadoop fs -put input/file* wordcount_input

（3）編譯WordCount.java程序，將結(jié)果放入當(dāng)前目錄的WordCount目錄下（在此之前首先在hadoop安裝目錄下創(chuàng)建一WordCount個(gè)目錄，即新建文件夾）：

　　javac -classpath hadoop-core-1.2.1.jar:lib/commons-cli-1.2.jar -d WordCount WordCount.java

（4）將編譯結(jié)果打包jar

　　首先進(jìn)入hadoop-1.2.1/WordCount/org/apache/hadoop/examples下，也就是進(jìn)入class文件目錄如圖：

??????????????

輸入命令：jar cvf WordCount.jar *.class

（5）在集群上運(yùn)行WordCount程序，以input目錄為輸入目錄，output為輸出目錄：

bin/hadoop jar hadoop-examples-1.2.1.jar wordcount wordcount_input wordcount_output

（6）查看輸出結(jié)果：

bin/hadoop fs -cat wordcount_output/part-r-00000

（7）最后運(yùn)行代碼如下：

　　hello? 3

　　world 1

　　hadoop 1

　　mapreduce? 1

?

不同機(jī)器可能遇到不同的問(wèn)題，可以參考一下解決方法：

MapReduce——WordCount問(wèn)題總結(jié) http://blog.sina.com.cn/s/blog_7fcb1aef0100zpux.html

bin/hadoop jar hadoop-*-examples.jar wordcount 路徑錯(cuò)誤 ? ? http://blog.csdn.net/jkeven/article/details/7655586

?

?

轉(zhuǎn)載于:https://www.cnblogs.com/wangnan45/p/3407981.html

總結(jié)

以上是生活随笔為你收集整理的Ubantu下hadoop运行第一个例子wordcount过程的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。