Apache Hive与普通地图减少

Question

我在运行配置单元查询（外部表中的条目的简单计数）时沿着普通地图缩小（字数统计程序）的方向有奇怪的体验。我的wordcount地图缩减首先开始，蜂巢查询从第二个开始。 Hive查询的速度有点快，我的第一张地图缩小了。是否有任何情况下蜂巢地图减少阻止所有其他地图减少运行？

我要求你添加你对这个问题的看法。

Answer 1

我认为这不是一贯的情况。 Hive不会阻止群集上的其他作业。群集负载和网络延迟可能会影响首先完成的任务。如果您试图比较两个作业以查看哪个作业更快，请同时提交它们并运行测试至少5-10次，并考虑平均时间。

Answer 2

作业完成的顺序取决于作业请求的地图数量和减少的任务以及群集的调度程序配置。

如果某个作业请求数量较大的可用集群的减少任务，则其他作业将被迫等待，直到Reducer任务完成。调度程序然后可以将空闲减少插槽分配给等待作业（同样，取决于调度程序配置）。