2017-10-12 88 views
0

当运行start-all.sh我SLAVE1和SLAVE2不能在节点管理器与JPS VM VirtualBox的 主发现在Ubuntu 16.04的Hadoop节点管理器无法启动,从不满足最小分配

工作

[email protected]:~$ jps 
15920 Jps 
15505 SecondaryNameNode 
15659 ResourceManager 
15293 NameNode 

SLAVE1

[email protected]:~$ jps 
7587 DataNode 
7945 Jps 

SLAVE2

[email protected]:~$ jps 
7138 DataNode 
7374 Jps 

这是我的节点管理器,slave1.log

2017年10月12日17:26:59662 ERROR org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl:意外的错误开始NodeStatusUpdater org.apache。 hadoop.yarn.exceptions.YarnRuntimeException:从Resourcemanager收到SHUTDOWN信号,NodeManager注册失败,来自ResourceManager的消息:来自slave1的NodeManager不满足最小分配,向NodeManager发送SHUTDOWN信号。 在org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl.registerWithRM(NodeStatusUpdaterImpl.java:278) 在org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl.serviceStart(NodeStatusUpdaterImpl.java:197) 在org.apache.hadoop.service.AbstractService.start(AbstractService.java:193) at org.apache.hadoop.service.CompositeService.serviceStart(CompositeService.java:120) at org.apache.hadoop.yarn.server。 nodemanager.NodeManager.serviceStart(NodeManager.java:272) at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193) at org.apache.hadoop.yarn.server.nodemanager.NodeManager.initAndStartNodeManager( NodeManager.java:496) at org.apache.hadoop.yarn.server.nodemanager.NodeManager.main(NodeManager.j AVA:543)

二○一七年十月一十二日17:26:59710致命org.apache.hadoop.yarn.server.nodemanager.NodeManager:错误启动节点管理器 org.apache.hadoop.yarn.exceptions.YarnRuntimeException:有机.apache.hadoop.yarn.exceptions.YarnRuntimeException:从Resourcemanager收到SHUTDOWN信号,NodeManager注册失败,来自ResourceManager的消息:来自slave1的NodeManager不满足最小分配,向NodeManager发送SHUTDOWN信号。 at org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl.serviceStart(NodeStatusUpdaterImpl.java:203) at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193) at org.apache。 hadoop.service.CompositeService.serviceStart(CompositeService.java:120) at org.apache.hadoop.yarn.server.nodemanager.NodeManager.serviceStart(NodeManager.java:272) at org.apache.hadoop.service.AbstractService。 start(AbstractService.java:193) at org.apache.hadoop.yarn.server.nodemanager.NodeManager.initAndStartNodeManager(NodeManager.java:496) at org.apache.hadoop.yarn.server.nodemanager.NodeManager.main( NodeManager.java:543) 原因:org.apache.hadoop.yarn.exceptions.YarnRuntimeException:从Resourcem收到SHUTDOWN信号anager,注册NodeManager失败,来自ResourceManager的消息:来自slave1的NodeManager不满足最小分配,向NodeManager发送SHUTDOWN信号。 在org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl.registerWithRM(NodeStatusUpdaterImpl.java:278) 在org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl.serviceStart(NodeStatusUpdaterImpl.java:197) 。 .. 6更多

我已经找到了一些相关信息。他们告诉我加

<property> 
<name>yarn.nodemanager.resource.memory-mb</name> 
<value>1024</value> 
</property> 

但它仍然不起作用。

所以,我设定值4096,仍无法工作

这里是我的下面

<configuration> 
<property> 
<name>yarn.resourcemanager.hostname</name> 
<value>master</value> 
</property> 

<property> 
<name>yarn.nodemanager.aux-services</name> 
<value>mapreduce_shuffle</value> 
</property> 

<property> 
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> 
<value>org.apache.hadoop.mapred.ShuffleHandler</value> 
</property> 

<property> 
<name>yarn.resourcemanager.address</name> 
<value>master:8032</value> 
</property> 

<property> 
<name>yarn.resourcemanager.scheduler.address</name> 
<value>master:8030</value> 
</property> 

<property> 
<name>yarn.resourcemanager.resource-tracker.address</name> 
<value>master:8031</value> 
</property> 

<property> 
<name>yarn.resourcemanager.admin.address</name> 
<value>master:8033</value> 
</property> 

<property> 
<name>yarn.resourcemanager.webapp.address</name> 
<value>master:8088</value> 
</property> 

<property> 
<name>yarn.nodemanager.resource.memory-mb</name> 
<value>4096</value> 
</property> 

<property> 
<name>yarn.nodemanager.local-dirs</name> 
<value>/home/yunchi/yarn</value> 
<final>true</final> 
</property> 


<property> 
<name>yarn.scheduler.minimum-allocation-mb</name> 
<value>1</value> 
</property> 
<property> 
<name>yarn.scheduler.minimum-allocation-vcores</name> 
<value>1</value> 
</property> 
+0

我发现nodemanager会出现一段时间,但几秒钟就会消失... –

回答

0

纱的site.xml也许你的虚拟机没有足够的资源。所以你不应该增加参数yarn.nodemanager.resource.memory-mb的值,因为没有资源。尝试为此参数设置较小的值,例如256 MB。

检查这个post

+0

我看到一本名为Hadoop的书:权威指南说yarn.nodemanager.resource.memory-mb不能小于1024 –

+0

是的,你是对的,它不应该更小。但是如果你没有足够的资源呢?如果您不想设置小于1024 MB的值,则必须为虚拟机提供更多资源。如果你不能这样做 - 你必须为这个参数设置一个较小的值。如果它不是你的生产环境,而是沙箱 - 不要害怕设置低价值。最糟糕的是 - 它不会工作。 –