纱线没有得到节点

这是在具有2个任务节点和主控的AWS EMR集群中。纱线没有得到节点

我在尝试启动纱线作业的hello-samza。这项工作陷入了接受状态。我看了其他帖子，似乎我的纱线没有节点。什么纱线没有获得任务节点的帮助将有所帮助。

[[email protected] hello-samza]$ deploy/yarn/bin/yarn node -list 
17/04/18 23:30:45 INFO client.RMProxy: Connecting to ResourceManager at /127.0.0.1:8032 
Total Nodes:0 
    Node-Id   Node-State Node-Http-Address Number-of-Running-Containers 

[[email protected] hello-samza]$ deploy/yarn/bin/yarn application -list -appStates ALL 
17/04/18 23:26:30 INFO client.RMProxy: Connecting to ResourceManager at /127.0.0.1:8032 
Total number of applications (application-types: [] and states: [NEW, NEW_SAVING, SUBMITTED, ACCEPTED, RUNNING, FINISHED, FAILED, KILLED]):1 
      Application-Id  Application-Name  Application-Type   User  Queue    State   Final-State   Progress      Tracking-URL 
application_1492557889328_0001 wikipedia-parser_1     Samza  hadoop  default   ACCEPTED   UNDEFINED    0%         N/A

来源

2017-04-19 dvshekar

让我们看看你是否有任何不健康的节点，发布'yarn node -list -all'的输出 – franklinsijo

[hadoop @ xxx hello-samza] $ deploy/yarn/bin/yarn node -list全部 17/04/19 16时48分59秒INFO client.RMProxy：在/127.0.0.1:8032 总节的连接到ResourceManager中：0 节点ID \t节点状态\t节点-HTTP地址\t编号运行的-的容器 – dvshekar

你使用了一个错误的论点。它是小写的“-all”。 – franklinsijo

这似乎是nodemanagers没有任一节点上运行（或者根本不启动或错误而退出）。使用jps命令检查是否所有与YARN关联的守护进程都在两个节点上运行。此外，请检查两个nodemanager日志以查看是否有任何异常可能已将其杀死。

来源

2017-04-19 03:00:35

jps没有给我nodemanager和resourcemanager。我可以看到工作追踪器中的工作，但失败了。 appattempt_1492641052989_0008_000002使用exitCode退出：-1000 对于更详细的输出，请检查应用程序跟踪页面：http：//xxxx.internal：8088/cluster/app/application_xxx 诊断：文件文件：/应用程序application_1492641052989_0008由于AM容器而失败， home/hadoop/samza/hello-samza/target/hello-samza-0.13.0-dist.tar.gz不存在 – dvshekar

@dvshekar希望你已经知道了。但我想知道如果文件路径不正确。它应该是“file：//”吗？只是一个猜测。一般而言，当您从Yarn中获得此异常时，这意味着RM无法本地化您的资源（这是本例中的作业包）。 –

我认为file：//是我身边的一个错字。我试图复制所有节点中的文件，并认为删除了该错误。只有新错误开始显现。但是，我认为该文件需要在hadoop hdfs中。我尝试过，但仍然给我一些错误。 – dvshekar

纱线没有得到节点

回答

相关问题