MRJob - 限制任务尝试次数

Question

在MyJob中，如何限制任务尝试次数（如果任务失败）？

我有很长时间的运行任务（相应地增加了超时时间），但是我希望在同一任务失败两次尝试后结束作业，而不是4-5。

我不能在这个文档中找到这样的事：

http://mrjob.readthedocs.org/en/latest//en/latest/guides/configs-reference.html

Answer 1

在地图的工作，你可以设置mapreduce.map.maxattempts在Hadoop中2.减少作业，设置mapreduce.reduce.maxattempts（source）。 Hadoop 1中的等效项为：mapred.map.max.attempts和mapred.reduce.max.attempts。

如果您使用的是MRJob conf文件，你可以设置为：

runners: 
    emr: 
     jobconf: 
      mapreduce.map.maxattempts: 2