纱线：如何利用完整的集群资源？

Question

所以我有一个拥有7个工作节点的cloudera集群。

• 30GB RAM
• 4个vCPU

下面是我的一些配置，我在我的集​​群的优化性能的重要发现（从谷歌）。我正在与运行：

• yarn.nodemanager.resource.cpu-vcores => 4
• yarn.nodemanager.resource.memory-mb => 17GB（REST保留用于OS和其他进程）
• mapreduce.map.memory.mb => 2GB
• mapreduce.reduce.memory.mb => 2GB
• 运行nproc => 4（可用处理单元的数量）

现在我关心的是，何时我看看我的ResourceManager，我看到可用内存为119 GB这很好。但是当我运行繁重的sqoop作业，并且我的集群处于高峰时，它仅使用内存的~59 GB，而未使用内存~60 GB。

我看到的一种方法，可以修复这个未使用的内存问题，将map|reduce.memory增加到4 GB，这样我们就可以使用高达16 GB的每个节点。

其他方法是增加容器的数量，我不知道如何。

• 4个核心×7个节点= 28个可能的容器。 3正在被其他进程使用，目前只有5个可用于sqoop作业。

什么应该是正确的配置，以提高群集性能在这种情况下。我可以增加容器的数量，比如说每个核心有两个容器。这是建议？

有关群集配置的任何帮助或建议将不胜感激。谢谢。

Answer 1

如果您的输入数据是26分割，YARN将创建26个映射器来并行处理这些分割。

如果你有2 GB映射器7级的节点26个分割，重新分区应该是这样的：

• 节点1：4名映射器=> 8 GB
• 节点2：4名映射器=> 8 GB
• 节点3：4映射器=> 8 GB
• 节点4：4名映射器=> 8 GB
• 节点5：4名映射器=> 8 GB
• Node6：3名映射器=> 6 GB
• Node7：3名映射器=> 6 GB
• 共有26名映射器=> 52 GB

因此，在你的地图中使用减少的工作，如果所有的映射器在同一时间运行的总内存会是26x2 = 52 GB。也许如果你通过Reducer（s）和ApplicationMaster容器添加内存用户，你可以在某些时候达到你的59 GB，如你所说的。

如果这是你正在见证的行为，而工作是完成了这26个映射器之后，那么没有什么不对。您只需要大约60 GB就可以通过将任务分散到所有节点上来完成工作，而无需等待容器插槽释放自己。其他免费的60 GB只是在等待，因为你不需要它们。为了使用所有内存而增加堆大小不一定会提高性能。

编辑：

但是，如果你仍然有很多映射器等待调度的，那么也许它因为你安装insconfigured使用vcores以及计算容器分配。这是不是在Apache的Hadoop的默认值，但可以配置：

yarn.scheduler.capacity.resource-calculator： 的ResourceCalculator实现了将使用的调度比较资源。缺省情况下，即org.apache.hadoop.yarn.util.resource.DefaultResourseCalculator仅使用内存，而DominantResourceCalculator使用Dominant资源来比较内存，CPU等多维资源。预期会有Java ResourceCalculator类名称。

由于您已将yarn.nodemanager.resource.cpu-vcores定义为4，并且由于每个映射器默认使用1个vcore，因此每次只能为每个节点运行4个映射器。

在这种情况下，您可以将yarn.nodemanager.resource.cpu-vcores的值增加8倍。它只是一个任意值，它将使映射器数量增加一倍。