未能在HDP 2.5.0中的Oozie上运行Spark操作（java.lang.IllegalArgumentException：Invalid ContainerId）

我试图运行一个简单的Spark Java应用程序。我可以运行火花提交我们的集群应用未能在HDP 2.5.0中的Oozie上运行Spark操作（java.lang.IllegalArgumentException：Invalid ContainerId）

我job.properties文件如下：

nameNode=hdfs://auper01-01-20-01-0.prod.vroc.com.au:8020 
jobTracker=auper01-02-10-01-0.prod.vroc.com.au:8050 
master=yarn-cluster 
queueName=default 
#examplesRoot=examples 
oozie.use.system.libpath=true 
oozie.wf.application.path=${nameNode}/user/livy 
oozie.libpath=${nameNode}/user/oozie/share/lib/lib_20161001110339/spark

在oozie.libpath

，我有两个文件，一个是Oozie的-sharelib火花-4.2 .0.2.5.0.0-1245.jar和另一个是我的火花应用程序罐

workflow.xml文件位于我的（用户/ livy）目录中，我也向应用程序jar上传了该目录以及避免没有得到火星提交的分类的experion，文件如下：

<workflow-app xmlns='uri:oozie:workflow:0.5' name='SparkExample'> 
    <start to='spark-node' /> 

    <action name='spark-node'> 
     <spark xmlns="uri:oozie:spark-action:0.1"> 
      <job-tracker>${jobTracker}</job-tracker> 
      <name-node>${nameNode}</name-node> 
      <master>${master}</master> 
      <name>Spark-Oozie</name> 
      <class>au.com.vroc.mdm.SimpleApp</class> 
      <jar>${nameNode}/tmp/simple-project/mdm-mahdi.jar</jar> 
     </spark> 
     <ok to="end" /> 
     <error to="fail" /> 
    </action> 

    <kill name="fail"> 
     <message>Workflow failed, error 
      message[${wf:errorMessage(wf:lastErrorNode())}] 
     </message> 
    </kill> 
    <end name='end' /> 
</workflow-app>

我可以sucesfully initite Oozie的，并得到一个应用程序ID，当我去Oozie的日志我的日志火花有波纹管例外

2017-05-26 16:51:01,880 ERROR [main] org.apache.hadoop.mapreduce.v2.app.MRAppMaster: Error starting MRAppMaster 
java.lang.IllegalArgumentException: Invalid ContainerId: container_e20_1489119643653_0943_02_000001 
     at org.apache.hadoop.yarn.util.ConverterUtils.toContainerId(ConverterUtils.java:182) 
     at org.apache.hadoop.mapreduce.v2.app.MRAppMaster.main(MRAppMaster.java:1343) 
Caused by: java.lang.NumberFormatException: For input string: "e20" 
     at java.lang.NumberFormatException.forInputString(NumberFormatException.java:65) 
     at java.lang.Long.parseLong(Long.java:589) 
     at java.lang.Long.parseLong(Long.java:631) 
     at org.apache.hadoop.yarn.util.ConverterUtils.toApplicationAttemptId(ConverterUtils.java:137) 
     at 

org.apache.hadoop.yarn.util.ConverterUtils.toContainerId(ConverterUtils.java:177) 

    ... 1 more

不知道为什么我得到上面的错误，任何帮助，将apprecited。

来源

2017-05-26 Luckylukee

确保您的应用程序jar不包含任何依赖项（这可能会导致此问题）。这个问题报告在HDP和IBM。

来源

2017-08-17 20:00:53

未能在HDP 2.5.0中的Oozie上运行Spark操作（java.lang.IllegalArgumentException：Invalid ContainerId）

回答

相关问题