限制每个用户并发reducers的数量

Question

有没有办法限制hadoop中每个用户的并发reduce slot数量？我们希望确保任何时候没有单个用户使用所有可用的减少插槽。

Answer 1

这可以使用FairScheduler in the current version of Hadoop。您可以为每个用户分配一个池，然后设置maxReduces。但是，该选项在FairScheduler with 0.20.203中不可用。这个版本方便地有minReduces没有maxReduces。