MR程序的幾種提交運(yùn)行模式

本地模型運(yùn)行

1/在windows的eclipse里面直接運(yùn)行main方法，就會(huì)將job提交給本地執(zhí)行器localjobrunner執(zhí)行

? ? ?----配置path：D:\hadoop-2.7.2\bin

? ? ?----配置hadoop_home：D:\hadoop-2.7.2

? ? ?----復(fù)制 hadoop.dll和winutils.exe 到hadoop/bin文件夾下

下載地址,注意版本：http://download.csdn.net/detail/u014310430/8402965

? ? ? ----輸入輸出數(shù)據(jù)可以放在本地路徑下（c:/wc/srcdata/）
? ? ? ----輸入輸出數(shù)據(jù)也可以放在hdfs中(hdfs://hello110:9000/wc/srcdata)
? ? ??
? ? ??
2/在linux的eclipse里面直接運(yùn)行main方法，但是不要添加yarn相關(guān)的配置，也會(huì)提交給localjobrunner執(zhí)行
? ? ? ----輸入輸出數(shù)據(jù)可以放在本地路徑下（/home/hadoop/wc/srcdata/）
? ? ? ----輸入輸出數(shù)據(jù)也可以放在hdfs中(hdfs://hello110:9000/wc/srcdata) ?
? ? ??

集群模式運(yùn)行

1【推薦的方法】/將工程打成jar包，上傳到服務(wù)器，然后用hadoop命令提交 ?hadoop jar wc.jar cn.itcast.hadoop.mr.wordcount.WCRunner

http://blog.csdn.net/zengmingen/article/details/51152001

2/在linux的eclipse中直接運(yùn)行main方法，也可以提交到集群中去運(yùn)行，但是，必須采取以下措施：
? ? ? ----在工程src目錄下加入 mapred-site.xml ?和 ?yarn-site.xml?
? ? ? ----將工程打成jar包(wc.jar)，同時(shí)在main方法中添加一個(gè)conf的配置參數(shù)　conf.set("mapreduce.job.jar","wc.jar"); ? ? ? ? ??

3/在windows的eclipse中直接運(yùn)行main方法，也可以提交給集群中運(yùn)行，但是因?yàn)槠脚_(tái)不兼容，需要做很多的設(shè)置修改

----要在windows中存放一份hadoop的安裝包（解壓好的）
----要將其中的lib和bin目錄替換成根據(jù)你的windows版本重新編譯出的文件
----再要配置系統(tǒng)環(huán)境變量 HADOOP_HOME ?和 PATH
----修改YarnRunner這個(gè)類的源碼
? ? ?
? ? ??
? ? ??
? ? ??

總結(jié)

以上是生活随笔為你收集整理的MR程序的几种提交运行模式的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。