Oozie的作业调度导致超时错误

我曾经遇到过一个问题贯穿了Oozie星火工作的同时，因为有像第一份工作相关的作业会触发第二份工作，第二个作业将引发第三次工作在某些情况下，我得到超时错误至于是不是创建SparkContext和最终数据未能获得加载配置单元，Oozie的作业调度导致超时错误

我不得不通过Oozie的-SSH行动计划在Oozie的5个相互依赖的工作。

让我知道，如果我的描述不有道理

使用ssh动作而不是Spark动作的任何特定原因？ – LiMuBei

@LiMuBei是的，我们正在使用的输出文件加载到蜂巢表， –

这是很常见的时候有一个内存的问题，我将粘贴错误，你需要为每个执行多少执行人指定内存。计算您对群集的限制并设置这些变量。

spark-submit --master yarn-cluster --executor-memory 1g --num-executors 3

2016-08-23 12:22:32 MrElefant

回答