Hadoop：如何将任务均匀分配给所有节点

Question

我想将任务均匀分配给所有节点。有什么办法可以控制这个吗？

Answer 1

地图任务将放置在最接近输入数据的空闲任务跟踪器上。

优先级为：

1. 同一台机器
2. 同一机架
3. 其他

在大多数情况下，你不必担心平衡问题自己。

Answer 2

你无法控制：

• 其中Map和Reduce任务执行
• 当Map和Reduce任务的开始或结束
• 什么键和值是由地图任务处理或减少任务

但是，你可以控制：

• 哪些关键是通过减少任务的顺序它们出现在减少（与partiotioner）

总之，你不能平衡只有在地图的任务，但减少任务处理，由框架

的平衡