2017-08-12 181 views
0

我在我的笔记本电脑中设置了Hadoop, ,并且当我在Hadoop(尽管MapReduce和Tez)上提交作业时, 状态始终为“已接受”,但始终进展停留在0%,描述写了类似“等待AM容器分配”的内容。纱线UI在HDFS UI中不显示活动节点

当我检查通过YARN UI(本地主机:8088)的节点, 它表明活性节点是0

enter image description here

但是从HDFS UI(本地主机:50070),它显示有是一个活节点。

enter image description here

是那个导致作业卡,因为没有可用的节点的主要原因是什么?如果是这样的话,我该怎么办?

回答

1

在你YARN UI,它表明你 vcores和内存中,因此没有办法进行任何工作永远运行,因为你缺乏的计算资源。 datanode仅用于存储(在这种情况下为HDFS),并且不会影响为什么您的应用程序被卡住。

解决您的问题,您需要更新您的纱线的site.xml并提供所描述的内存与CPU核心属性设置如下:

http://blog.cloudera.com/blog/2015/10/untangling-apache-hadoop-yarn-part-2/

你可能会考虑使用Cloudera的快速启动VM或Hortonworks Sandbox(至少作为yarn-site.xml的配置值的参考)。

https://www.cloudera.com/downloads/quickstart_vms/5-10.html https://hortonworks.com/products/sandbox/

+0

嗨,我有跟随你的答案,并能调出节点,但我仍然无法成功进行任何Hadoop的工作。 –

+0

您现在在YARN UI中显示了多少个总核心数和总内存?另外,当你说你创建了一个节点时,你的意思是一个节点管理器吗?您需要使用YARN的服务来运行作业。 – tk421

+0

是节点管理器现在能够成功启动。我的笔记本电脑有8GB或RAM和4个内核。在yarn-site.xml中,我将yarn.nodemanager.resource.memory-mb设置为6GB,将yarn.nodemanager.resource.cpu-vcore设置为4.因此,在YARN UI中,它显示6GB RAM和4个内核。 –