Hadoop：不要重新安排失败的reducer

Question

这是Hadoop当前的工作原理：如果reducer失败（例如抛出NullPointerException异常），Hadoop将重新安排另一个reducer来执行失败的reducer任务。

是否可以将Hadoop配置为不重新安排失败的reducer，即如果任何reducer失败，Hadoop只会报告失败并且什么也不做。

当然，没有失败的减速器将继续完成。

Answer 1

您可以使用配置类job.xml

将其设置为0应该解决您的问题

Answer 2

如果你尽快将配置设置为不重新启动失败的任务，第一个设置mapred.reduce.max.attempts属性失败您的jobtracker将失败的工作，并杀死当前正在运行的任务。所以你想做的事情几乎是不可能的。