【hadoop2.6.0】利用Hadoop的 Java API
生活随笔
收集整理的這篇文章主要介紹了
【hadoop2.6.0】利用Hadoop的 Java API
小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.
Hadoop2.6.0的所有Java API都在?http://hadoop.apache.org/docs/r2.6.0/api/overview-summary.html?里。
下面實現(xiàn)一個利用Java API創(chuàng)建HDFS文件的例子。參照《實踐Hadoop》(劉鵬) ?書中的第50頁。
?
利用FileSystem.create(Path f)實現(xiàn)
第一步,先寫java代碼, 命名為MyCreateFile.java 注意,一定要放在hadoop的根目錄下
import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataOutputStream; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class MyCreateFile{public static void main(String[] args)throws Exception{Configuration conf=new Configuration();byte[] buff="hello wordl!".getBytes();FileSystem hdfs=FileSystem.get(conf);Path dfs=new Path("/user/kzy/new_file");FSDataOutputStream outputStream=hdfs.create(dfs);outputStream.write(buff,0,buff.length);} }?
第二步,編譯打包 在命令行中輸入下面兩個指令,打包為mcf.jar
bin/hadoop com.sun.tools.javac.Main MyCreateFile.java jar cf mcf.jar MyCreateFile*.class?
第三步,執(zhí)行 在命令行中輸入
bin/hadoop jar mcf.jar MyCreateFile?
到http://localhost:50070 中查看結(jié)果 在/user/kzy 目錄下出現(xiàn)了新文件new_file
總結(jié)
以上是生活随笔為你收集整理的【hadoop2.6.0】利用Hadoop的 Java API的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 高性能js之js文件的加载与解析
- 下一篇: js获取url参数值