在MapReduce中使用更多Reducer的优缺点是什么？

Question

MapReduce编程全部是关于并行处理的，那么为什么我们在很多情况下从单个reducer开始。在MapReduce中增加更多减速器有哪些优缺点？

Answer 1

一个reducer可能在一个或多个分区上工作，因此它会限制并行化，具体是由于它只有一个。

太多的减速器会造成太多的小的 HDFS（输出）文件，这是不好的，并会对HDFS施加压力，因为需要完成整理工作。