mapreduce中的reducers hadoop

Question

我只有一个关键字从mapper发射到reducer，并且我设置了no的reducer为10.因此，一个reducer将在该关键点上运行，还有其他剩余的9个reducer会执行哪些操作？

Answer 1

其他9个reducer将像平常一样运行其生命周期，他们只是在运行后不会有任何键/值进行处理，因此他们会很快停止。因此，当他们不必要地运行时，你会浪费资源。

一般来说（大多数输出​​格式都是这样做的）同样发现你最终得到了一个部分文件，用于减少运行但没有写入任何内容。零件文件不包含任何实际的数据只是文件元数据，例如gzip头文件。

Answer 2

其他9个reducer将运行，直到他们的时隙结束。

他们不会有任何K/V对来处理和快速停止。

您可以使用自定义分区程序将地图输出均匀地分发到所有缩减程序; - 至少为第一级;并在最后阶段通过一个减速器最终结合 - 从而减少大部分减速阶段的计算负荷。