YARN 任务执行报错:Caused by: java.io.IOException: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out
生活随笔
收集整理的這篇文章主要介紹了
YARN 任务执行报错:Caused by: java.io.IOException: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
使用YARN運行一個wordcount時報錯:
20/03/25 00:10:45 INFO mapreduce.Job: Task Id : attempt_1585065643305_0001_r_000000_0, Status : FAILED Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#4at org.apache.hadoop.mapreduce.task.reduce.Shuffle.run(Shuffle.java:134)at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:376)at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164)at java.security.AccessController.doPrivileged(Native Method)at javax.security.auth.Subject.doAs(Subject.java:422)解決辦法如下:
修改yarn-site.xml文件,添加內容:
總結
以上是生活随笔為你收集整理的YARN 任务执行报错:Caused by: java.io.IOException: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 未经审视的人生是不值得过的
- 下一篇: spark-1.6.0-cdh5.15.