的Hadoop - 故障中恢复仅减少

Question

我已经完成了地图部分为4天一个Hadoop作业的运行，现在看来得到在减少（减速机30％完成）

阶段暂停

我真的很希望能有一种方法来只重新处理减少部分，而不必重新处理长期地图部分，任何建议？ 有些东西可能会变得更糟，我只有一个减速器。

谢谢！

Answer 1

Hadoop将只会在您的情况下重新启动Reduce步骤。

但是，如果您的工作失败，您不能跳过地图步骤。 在这种情况下，您应该将两个阶段拆分为独立作业，尤其是在您的映射器计算密集的情况下。