public class JobMain extends Configured implements Tool {@Overridepublic int run(String[] args) throws Exception {Job job = Job.getInstance(super.getConf(),JobMain.class.getSimpleName());//打包到集群上面運行時候，必須要添加以下配置，指定程序的main函數job.setJarByClass(JobMain.class);//第一步：讀取輸入文件解析成key，value對job.setInputFormatClass(TextInputFormat.class);TextInputFormat.addInputPath(job,newPath("hdfs://192.168.52.250:8020/wordcount"));//第二步：設置我們的mapper類job.setMapperClass(WordCountMapper.class);//設置我們map階段完成之后的輸出類型job.setMapOutputKeyClass(Text.class);job.setMapOutputValueClass(LongWritable.class);//第三步，第四步，第五步，第六步，省略//第七步：設置我們的reduce類job.setReducerClass(WordCountReducer.class); //設置我們reduce階段完成之后的輸出類型job.setOutputKeyClass(Text.class);job.setOutputValueClass(LongWritable.class);//第八步：設置輸出類以及輸出路徑job.setOutputFormatClass(TextOutputFormat.class);TextOutputFormat.setOutputPath(job,newPath("hdfs://192.168.52.250:8020/wordcount_out"));boolean b = job.waitForCompletion(true);return b?0:1;}/*** 程序main函數的入口類* @param args* @throws Exception*/public static void main(String[] args) throws Exception {Configuration configuration = new Configuration();Tool tool = new JobMain();int run = ToolRunner.run(configuration, tool, args);System.exit(run);} }

?

總結

以上是生活随笔為你收集整理的MapReduce案例-wordcount-JobMain代码的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。