當我嘗試遠程運行map-reduce作業(yè)(字數(shù)計數(shù)示例)時遇到了一些問題.我搜索谷歌后仍然無法實現(xiàn)我的目標.我剛剛看到很少關(guān)于遠程調(diào)用map-reduce作業(yè)的主題.

以下是問題：

>首先,我遇到許可問題：

SEVERE: PriviledgedActionException as:[user] cause:org.apache.hadoop.security.AccessControlException:

org.apache.hadoop.security.AccessControlException: Permission denied: user=[user], access=WRITE, inode="mapred":root:supergroup:rwxr-xr-x

這似乎是一個拒絕hdfs路徑的權(quán)限.我通過設(shè)置dfs.permissions = true來關(guān)閉檢查.是否有其他方法可以解決這個問題,但仍然保持檢查.

>然后我遇到一個異常,說我無法訪問map-reduce應(yīng)用程序jar.

SEVERE: PriviledgedActionException as:[User] cause:java.io.FileNotFoundException: File /home/hduser/WordCount-1.0.jar does not exist.

我的代碼是：

JobConf conf = new JobConf(WordCount.class);

conf.setJobName("wordcount");

conf.set("fs.default.name", "hdfs://10.97.1.91:54310");

conf.set("mapred.job.tracker", "10.97.1.91:54311");

conf.setJar("/home/hduser/WordCount-1.0.jar");

...

JobClient.runJob(conf);

看起來名稱節(jié)點上的本地文件系統(tǒng)拒絕我訪問jar文件.我怎樣才能克服這個問題？我在stackoverflow中找到了a link.從鏈接中,不需要jar文件位置.但是name節(jié)點如何在不提供位置的情況下找到j(luò)ar文件？

>我在互聯(lián)網(wǎng)上發(fā)現(xiàn)的教程中看到很少有遠程執(zhí)行作業(yè)的例子.是不是建議這樣做？

總結(jié)

以上是生活随笔為你收集整理的Java 远程mapduce_java – 如何远程运行mapreduce作业的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。