Hortonworks Oozie Spark动作

Question

有没有人成功通过Oozie在HDP中运行Spark动作？

我在使用Oozie 4.2.0的HDP 2.3.2上运行。火花动作设定为以纱线簇模式运行。火花作业是虚拟的，没有输入文件。

我已经先打了错误并here管理通过从HDFS Oozie的火花lib文件夹下面绕过它（在我的情况：/user/oozie/share/lib/lib_20151116201309/spark/）：

• Tachyon的0.5.0.jar
• Tachyon的客户端 - 0.5.0.jar（二者由于this误差）
• 火花core_2.10-1.1.0.jar
• 火花graphx_2.10-1.1.0.jar
• 火花-strea ming_2.10-1.1.0.jar

并添加工作流程中的lib文件夹以下：

• DataNucleus将-API-JDO-3.2.6.jar
• DataNucleus将核 - 3.2 .10.jar
• DataNucleus将-RDBMS-3.2.9.jar
• 火花1.4.1.2.3.2.0-2950-纱线shuffle.jar
• 火花组装1.4.1.2.3.2.0 -2950-hadoop2.7.1.2.3.2.0-2950.jar
• 火花例子-1.4.1.2.3.2.0-2950-hadoop2.7.1.2.3.2.0-2950.jar

现在我的土地上出现以下错误：

Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.SparkMain], main() threw exception, Call From hdp4/10.10.1.84 to 0.0.0.0:8032 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused java.net.ConnectException: Call From hdp4/10.10.1.84 to 0.0.0.0:8032 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused

我提即：

• 无论是在job.properties文件和纱线的配置文件，作业跟踪器/资源管理器端口设置为8032
• 应用拼命地跑了20分钟〜（我多次和观察日跑了是时机）

Answer 1

下面是我为了让SparkAction在HDP 2.3.4上工作而执行的步骤。

1. 备份Oozie sharelib spark文件夹并删除除oozie-sharelib-<spark-version>.jar以外的所有罐子。在我的情况下，我只是将spark文件夹重命名为spark-backup并创建了一个新的spark文件夹，然后复制了我提到的jar。
2. 将$SPARK_HOME/lib中的所有罐子复制到Oozie sharelib spark文件夹中。
3. 重新启动Oozie
4. 更改yarn.resourcemanager。通过Ambari
5. 重新启动的纱处理，以<myhost>:8032

我或多或少同样的问题之前，让我在Hortonworks社区，这是帮助我终于得到它的工作发表在这个question。