Hadoop slowstart配置

Question

Hadoop作业的“mapred.reduce.slowstart.completed.maps”的理想值是什么？遵循什么规则来适当地设置它？

谢谢！

Answer 1

这取决于很多你的工作，集群的特点和利用：

1. 多少映射插槽将你的工作需要VS最大的地图容量：如果您有滋生的地图任务1000的工作，但总共只有10个地图插槽（这是一个极端的例子），那么尽早启动你的reducer可能会减少执行任务的执行次数。在这种情况下，我会设置你的slowstart为一个很大的值（0.999或1.0）。如果您的映射程序需要完成一个时间，则也是如此 - 让其他人使用这个缩减程序

2. 如果您的群集负载相对较轻（没有争用减速机时隙），并且您的映射器输出的卷数据，那么慢速启动的低值将有助于让您的工作更早完成（同时执行其他地图任务，将地图输出数据移动到减速器）。

可能有更多