2016-02-26 73 views
0

我有一个配有1024个桶的配置单元表。最大减速器限制设置为1024,通常经验法则是每桶减速器1个。现在我想增加减速器的数量以获得更快的性能,并且我想知道是否可以设置每个减速器多个减速器。如果我能做到这一点,那么它是如何影响性能的?每个桶多于1个reducer

回答

-1

您应该使用

set hive.enforce.bucketing = true;

减速器的数量必须等于存储桶的数量。这是语言手册中描述的 。

https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL+BucketedTables

+0

链接已损坏。 – javadba

+0

该文件没有明确说明,我们不能使用每个群集/桶多于1个reducer。虽然,可以强烈地理解,我们必须使用每桶1个还原剂。我想知道的是,如果有一种设置可以将一组密钥实际分配给多个减速器 – ShikharDua