Hadoop不使用一个节点作业

Question

我有一个四节点的YARN集群正在运行。由于较小的问题，我最近不得不格式化namenode。

后来我运行Hadoop的PI示例来验证每个节点仍在参与计算，他们都这样做。然而，当我开始自己的工作时，其中一个节点根本没有被使用。

我想这可能是因为这个节点没有任何数据可以工作。所以我试图用平衡器来平衡集群。这不起作用，平衡器告诉我集群是平衡的。

我错过了什么？

Answer 1

在处理时，您的ApplicationMaster会与NodeManager取消容器，而NodeManager反过来会尝试获取最近的datanode资源。由于您的复制因子为3，因此HDFS会尝试将1整个副本放在单个数据节点上，并将其余数据分配到所有数据节点。

1）将复制因子更改为1（因为您只是试图进行基准测试，因此减少复制不应该是一个大问题）。

2）确保你的客户端（机器从你将给你的-copyFromLocal命令）没有运行datanode。否则，HDFS将倾向于将大部分数据放置在此节点中，因为它会减少延迟。

3）使用dfs.blocksize属性控制文件分发。

4）使用hdfs dfsadmin -report检查datanodes的状态。

Answer 2

1. 确保您的节点是资源管理器的joinig。查看问题节点上的nodemanager日志，看看是否有错误。查看资源管理器Web UI（默认情况下为8088），确保节点在那里列出。

2. 确保节点将足够的资源带到池中以便能够运行作业。在节点上的yarn-site.xml中检查yarn.nodemanager.resource.cpu-vcores和yarn.nodemanager.resource.memory-mb。内存应该大于容器请求的最小内存（请参阅yarn.scheduler.minimum-allocation-mb）。