MapReduce低效减速器

Question

除了map函数输出的所有键都相同之外，什么会导致MapReduce作业中只有一个Reducer？

Answer 1

可能的原因：

1. 你的集群仍然仅具有1减速器（=默认值）的默认设置。
2. 您的代码显式设置值为1缩减器。
3. 您正在本地模式下运行（即根本没有群集）。

报价从mapred-default.xml

<property> 
    <name>mapred.reduce.tasks</name> 
    <value>1</value> 
    <description>The default number of reduce tasks per job. Typically set to 99% 
    of the cluster's reduce capacity, so that if a node fails the reduces can 
    still be executed in a single wave. 
    Ignored when mapred.job.tracker is "local". 
    </description> 
</property>