Hadoop减速器数量配置选项优先级

设置减少数量的以下3个选项的优先级是？换句话说，如果三个都确定了，哪一个会被考虑在内呢？Hadoop减速器数量配置选项优先级

选项1：

setNumReduceTasks(2) within the application code

选项2：

-D mapreduce.job.reduces=2 as command line argument

选项3：

through $HADOOP_CONF_DIR/mapred-site.xml file 

<property> 
    <name>mapreduce.job.reduces</name> 
    <value>2</value> 
</property>

来源

2013-12-20 polerto

如果把他们费尽优先顺序 - 选项1将覆盖2和2将覆盖3换句话说选项1将在这种情况下

来源

2013-12-20 12:35:23

按照Hadoop - The Definitive Guide

-D选项用于将配置属性的关键颜色设置为值为的黄色。用-D指定的选项优先于配置文件中的属性。这非常有用，因为您可以将默认值放入配置文件中，然后根据需要使用-D选项覆盖它们。一个常见的例子是通过-D mapred.reduce.tasks = n为MapReduce作业设置数量的reducers。这将使覆盖群集上设置的减速器数量，或者在任何客户端配置文件中设置。

来源

2013-12-20 10:49:19

一是优先使用你的工作之一：传通过命令行配置参数（在提交申请MR）

第二优先级：在应用程序代码中设置的配置参数

第三优先级：将读取多个XML文件，如芯 - site.xml的默认参数，hadoop- env.sh，hdfs-site.xml， log4j.properties和mapred-site.xml

来源

2016-01-27 06:20:40 Shri

Hadoop减速器数量配置选项优先级

回答

相关问题