如何限制hadoop中mapreduce java代码中减少作业的数量

Question

我是Hadoop的新手，我想限制应用程序中减少作业的数量。

在群集中，减少作业的最大数量是120.但是，我不想使用它们全部，因为我的应用程序不需要那么多的减少作业。

我尝试了下面的解决方案，但它没有改变任何东西。我的应用程序仍使用120个减少工作。

如何设置减少工作的数量？

https://stackoverflow.com/questions/33237361/unable-to-set-mapreduce-job-reduces-through-generic-option-parser

感谢您的答复。

Answer 1

从作业类，

job.setNumReduceTasks(100); 

从shell命令

hadoop jar yourJar.jar -D mapred.reduce.tasks=1 <input> <output> 

Answer 2

请在下面校验值

随着1.x的

mapred.reduce.tasks除非你指定job.setNumReduceTasks(x)将优先考虑;

2.x版

mapreduce.job.reduces除非你指定job.setNumReduceTasks(x)将优先考虑;

您可以使用-D参数通过Ramzy实施建议。在设置属性之前检查hadoop版本和相应的属性。

查看1.x和2.x之间的已弃用属性和新属性versions