2016-03-21 161 views
1

当我启动星火外壳采用: 火花壳--master纱--deploy模式客户端星火壳牌纱线客户端模式 - 阿卡AssociationError

,我发现了以下错误:

16/03/21 20:52:29 ERROR ErrorMonitor: AssociationError [akka.tcp://[email protected]:47915] -> [akka.tcp://[email protected]:48703]: Error [Association failed with [akka.tc 
p://[email protected]:48703]] [ 
akka.remote.EndpointAssociationException: Association failed with [akka.tcp://[email protected]:48703] 
Caused by: akka.remote.transport.netty.NettyTransport$$anonfun$associate$1$$anon$2: No route to host 
] 
akka.event.Logging$Error$NoCause$ 
16/03/21 20:52:29 ERROR ErrorMonitor: AssociationError [akka.tcp://[email protected]:47915] -> [akka.tcp://[email protected]:48703]: Error [Association failed with [akka.tc 
p://[email protected]:48703]] [ 
akka.remote.EndpointAssociationException: Association failed with [akka.tcp://[email protected]:48703] 
Caused by: akka.remote.transport.netty.NettyTransport$$anonfun$associate$1$$anon$2: No route to host 
] 
akka.event.Logging$Error$NoCause$ 
16/03/21 20:52:32 ERROR YarnScheduler: Lost executor 3 on hostname01: remote Rpc client disassociated 
16/03/21 20:52:32 INFO DAGScheduler: Executor lost: 3 (epoch 0) 
16/03/21 20:52:32 INFO BlockManagerMasterEndpoint: Trying to remove executor 3 from BlockManagerMaster. 
16/03/21 20:52:32 INFO BlockManagerMasterEndpoint: Removing block manager BlockManagerId(3, hostname01, 37497) 
16/03/21 20:52:32 INFO BlockManagerMaster: Removed 3 successfully in removeExecutor 
16/03/21 20:52:32 INFO ExecutorAllocationManager: Existing executor 3 has been removed (new total is 0) 

防火墙& Iptables已关闭。群集中的机器可以在所有端口上相互ping通。 但我很疑惑,为什么我仍然得到“akka.remote.transport.netty.NettyTransport $$ anonfun $ associate $ 1 $$ anon $ 2:没有路由到主机”

请任何帮助。

回答

1

也许你有一个名称解析问题。您应尝试在设置中使用IP地址(例如在slaves文件中)而不是名称以确认此假设。

+0

我认为这个问题是关于纱线上的火花,所以'奴隶'文件没有影响 – user1314742

1

我以前经历过同样的问题。我发现我打错关于SPARK_LOCAL_IP一些environement变量和SPARK_LOCAL_DNS

要解决你的问题,你必须:

  • 在所有节点管理器节点,检查是否有.bashrc中和的.bash_profile文件设置ENV变量来正确的价值观:SPARK_LOCAL_IPSPARK_PUBLIC_DNS,然后重新启动nodemanger(S)

  • 在您的客户机(你发出命令spark-shell)创下的ENV变量的值到客户机的IP和hostna我

相关问题