如何设置Hive减少运算符，因为减少运算符始终为0

Question

我试图将数据上传到配置单元rc和orc文件，但减速器数量始终为0.我尝试将配置单元中的reducer设置为mapred.reducer .tasks = 1但它不起作用。我发现互联网，每个减速器的默认大小是1G，所以我尝试上传3G数据，所以减速器至少是2.我必须努力减少运营商？

Answer 1

尝试

set mapred.reduce.tasks=99; 
set hive.exec.reducers.max=99; 

但是，很可能是你的任务，不需要减速。

Answer 2

我需要更多关于查询的信息才能确定知道，但我的猜测是您正在运行的查询是仅限地图的作业，因此不需要任何减速器。您可以添加DISTRIBUTE BY语句来强制Hadoop使用reducer。例如，

SELECT txn_id FROM table; 

将成为仅地图工作。您可以强制Hive通过添加此子句来添加减少步骤。

SELECT txn_id FROM table 
DISTRIBUTE BY txn_id;