2016-07-05 92 views
1

我在做纱线上的spark-submit,并且出现以下错误。任何线索我做错了什么?Spark上的Yarn错误提交YarnConfiguration.useHttps NoSuchMethodError

16/07/05 14:21:49 INFO spark.SparkContext:成功停止SparkContext 16/07/05 14:21:49 INFO yarn.ApplicationMaster:取消注册失败的ApplicationMaster(诊断消息:用户类引发异常:java.lang.NoSuchMethodError:org.apache.hadoop.yarn.conf.YarnConfiguration.useHttps(Lorg/apache/hadoop/conf/Configuration;)Z) 16/07/05 14:21:49 INFO remote.RemoteActorRefProvider $ RemotingTerminator:关闭远程守护进程。 16/07/05 14:21:49 INFO remote.RemoteActorRefProvider $ RemotingTerminator:远程守护进程关闭;继续冲洗远程传输。 16/07/05 14:21:49 INFO impl.AMRMClientImpl:等待应用程序成功取消注册。 16/07/05 14:21:49 INFO remote.RemoteActorRefProvider $ RemotingTerminator:远程关闭。

回答

0

经过很多的斗争之后,我发现,问题是我正在构建包含spark的所有依赖关系的uber jar。当我在没有依赖关系的情况下构建包并且在spark提交期间将相关jar添加为--jar时,问题已解决。看起来像NoSuchMethodError或ClassNotFoundException的大部分时间问题都可以用这种方法解决。