hadoop案例测试——pi值、wordcount函数,hadoop不支持本地库问题
前言:本文案例測試所需環(huán)境都是在前面幾篇blog的基礎(chǔ)上進(jìn)行的,具體內(nèi)容請查看:
http://blog.csdn.net/u012829611/article/details/77678609
http://blog.csdn.net/u012829611/article/details/77651855
1.使用hadoop估算pi的值
[hadoop@localhost hadoop-2.7.3]# yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar pi 5 10注:命令中,“5”表示map進(jìn)行5次,“10”表示每次map投擲10次(相當(dāng)于扔飛鏢10次計算出pi的值)
最終計算結(jié)果:
2.使用mapreduce中wordcount函數(shù)計算/input目錄下test文件中單詞出現(xiàn)的次數(shù),結(jié)果輸出到/output目錄下
//hdfs上創(chuàng)建文件夾input
[hadoop@localhost hadoop-2.7.3]# hdfs dfs -mkdir /input [hadoop@localhost hadoop-2.7.3]# hdfs dfs -ls ///新建test文件,輸入一些字符串
[hadoop@localhost hadoop-2.7.3]# vim test//將test文件put到hdfs的input目錄下
[hadoop@localhost hadoop-2.7.3]# hdfs dfs -put test /input//執(zhí)行命令
[hadoop@localhost hadoop-2.7.3]# yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /input/test /output//查看output目錄下的文件
[hadoop@localhost hadoop-2.7.3]# hdfs dfs -ls /output//查看統(tǒng)計結(jié)果
[hadoop@localhost hadoop-2.7.3]# hdfs dfs -cat /output/part-r-00000附:
①hdfs dfs -rm -r /output //刪除hdfs上的output文件夾
關(guān)于hadoop不支持本地庫問題
問題描述:hadoop安裝完后,使用”hadoop checknative”命令查看是否支持本地庫時,發(fā)現(xiàn)不支持hadoop、zlib、snappy等一些本地庫。
解決方法:執(zhí)行以下命令
[hadoop@localhost bin]# export HADOOP_OPTS="-Djava.library.path=./../lib/native/"參考文檔:
http://blog.csdn.net/ligt0610/article/details/47757013
https://zhidao.baidu.com/question/1766673293716469500.html
總結(jié)
以上是生活随笔為你收集整理的hadoop案例测试——pi值、wordcount函数,hadoop不支持本地库问题的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: LED光源的种类与LED光源与灯具的定义
- 下一篇: hdu 6638 2019多校训练六 1