亚马逊弹性MapReduce：推出地图任务

Question

的一个MapReduce工作流步数在“系统日志”，我看到以下内容：

Job Counters 
    Launched reduce tasks=4 
    Launched map tasks=39 

是否推出地图任务的数量包括失败的任务？

我使用NLineInputFormat类作为输入格式来管理地图任务的数量。 但是，我偶尔会得到完全相同输入的略微不同的数字，或者取决于实例的数量（10,15和20）。

谁能告诉我为什么我看到不同数量的任务启动？

Answer 1

这很可能是投机执行。当Hadoop具有可用资源时，它可能会选择同时运行同一任务的两次尝试。启动的任务包括启动的所有任务，而不管它们以后是否成功，失败（由于例外），或者被杀死（由于管理员干预或推测性执行，在“更快”任务完成后，杀死“较慢”任务）。

您的总任务 - 失败 - 死亡可能会在运行之间相同。

希望这会有所帮助。