上运行星火的工作，我的顶端有一个简单的Hadoop集群，其中星火运行（即星火使用纱作为集群管理器）。无法YARN集群

我使用Hadoop 2.7;斯卡拉2.112.1;火花2.1.0和JDK 8

现在，当我提交作业，失败的话，下面的消息：

17/04/06 23:57:55 INFO yarn.Client: Application report for application_1491534363989_0004 (state: ACCEPTED) 
17/04/06 23:57:56 INFO yarn.Client: Application report for application_1491534363989_0004 (state: FAILED) 
17/04/06 23:57:56 INFO yarn.Client: 
    client token: N/A 
    diagnostics: Application application_1491534363989_0004 failed 2 times due to AM Container for appattempt_1491534363989_0004_000002 exited with exitCode: 15 
For more detailed output, check application tracking page:http://rm100.hadoop.cluster:8088/cluster/app/application_1491534363989_0004Then, click on links to logs of each attempt. 
Diagnostics: Exception from container-launch. 
Container id: container_1491534363989_0004_02_000001 
Exit code: 15

有没有与JDK 8的任何问题？

更新

当我运行使用JDK 7相同的程序，它工作正常。所以我的问题是：Spark，scala，hadoop和JDK 8有什么问题？

来源

2017-04-07 CuriousMind

不，我们运行早期版本的Hadoop和Spark在JDK 8，它工作正常。 – jamborta

可能是你遇到了一些问题，斯卡拉2.11，因为它的Java 8支持是实验 - http://www.scala-lang.org/news/2.11.1#required-java-version – jamborta

我相信问题是Hadoop从Java支持页面2.7及更高版本仅支持JDK 7。 – CuriousMind

我一直在用的Java 8中使用的火花在纱线集群，一切顺利。从我所知道的更新版本的spark和scala需要java 8或更高版本。以下是您需要考虑的几件事情。当你开始在hadoop-env.sh

检查JAVA_HOME路径纱线集群确保所有需要的节点都使用了jps。
您在Hadoop日志记录。
去http://rm100.hadoop.cluster:8088/cluster/app/application_1491534363989_0004更多细节

来源

2017-04-07 10:59:04

非常感谢您的回复;所有的守护进程都在运行。我也测试了hadoop2.8，但遇到同样的问题。相同的程序在Jdk7上运行，但不在jdk8上运行。我们是否需要对Java设置进行任何更改？ – CuriousMind

你检查了失败消息中的应用程序日志吗？ –

无法YARN集群

更新

回答

相关问题