程序main函數(shù)入口

package cn.learn.mapreduce_sort;import cn.learn.mapreduce_flowcount.FlowCountReducer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.lib.input.TextInputFormat; import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat; import org.apache.hadoop.util.Tool; import org.apache.hadoop.util.ToolRunner;public class JobMain extends Configured implements Tool {@Overridepublic int run(String[] strings) throws Exception {//創(chuàng)建一個(gè)任務(wù)對象Job job = Job.getInstance(super.getConf(), "mapreduce_flowcountsort");//打包放在集群運(yùn)行時(shí)，需要做一個(gè)配置job.setJarByClass(JobMain.class);//第一步:設(shè)置讀取文件的類: K1 和V1job.setInputFormatClass(TextInputFormat.class);TextInputFormat.addInputPath(job, new Path("hdfs://node01:8020/out/flowcount_out"));//第二步：設(shè)置Mapper類job.setMapperClass(FlowCountSortMapper.class);//設(shè)置Map階段的輸出類型: k2 和V2的類型job.setMapOutputKeyClass(FlowBean.class);job.setMapOutputValueClass(Text.class);//第三,四，五，六步采用默認(rèn)方式(分區(qū)，排序，規(guī)約，分組)//第七步 ：設(shè)置文的Reducer類job.setReducerClass(FlowCountSortReducer.class);//設(shè)置Reduce階段的輸出類型job.setOutputKeyClass(Text.class);job.setOutputValueClass(FlowBean.class);//設(shè)置Reduce的個(gè)數(shù)//第八步:設(shè)置輸出類job.setOutputFormatClass(TextOutputFormat.class);//設(shè)置輸出的路徑TextOutputFormat.setOutputPath(job, new Path("hdfs://node01:8020/out/flowcountsort_out"));boolean b = job.waitForCompletion(true);return b?0:1;}public static void main(String[] args) throws Exception {Configuration configuration = new Configuration();//啟動(dòng)一個(gè)任務(wù)int run = ToolRunner.run(configuration, new JobMain(), args);System.exit(run);}}

?

超強(qiáng)干貨來襲 云風(fēng)專訪：近40年碼齡，通宵達(dá)旦的技術(shù)人生

總結(jié)

以上是生活随笔為你收集整理的MapReduce-流量统计求和-排序-JobMain代码和测试运行的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。