2
我试图按照此说明启用Spark Oozie操作的历史日志。 https://archive.cloudera.com/cdh5/cdh/5/oozie/DG_SparkActionExtension.htmlCloudera中的Oozie Spark操作未启用Spark历史记录日志
为了确保您的工作星火星火历史服务器中显示出来,请务必指定这三个星火配置属性或者与--conf或oozie.service.SparkConfigurationService.spark.configurations
火花选择采用- spark.yarn.historyServer.address = http://SPH-HOST:18088
- spark.eventLog.dir = HDFS:// NN:8020 /用户/火花/ applicationHistory
- spark.eventLog.enabled =真
确定指标的工作流程如下:
<action name="spark-9e7c">
<spark xmlns="uri:oozie:spark-action:0.1">
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<master>yarn-cluster</master>
<mode>cluster</mode>
<name>Correlation Engine</name>
<class>Main Class</class>
<jar>hdfs://<MACHINE IP>:8020/USER JAR</jar>
<spark-opts> --conf spark.eventLog.dir=<MACHINE IP>:8020/user/spark/applicationHistory --conf spark.eventLog.enabled=true --conf spark.yarn.historyServer.address=<MACHINE IP>:18088/</spark-opts>
</spark>
<ok to="email-f5d5"/>
<error to="email-a687"/>
</action>
当我从一个shell脚本历史记录日志测试是正确的方式记录但Oozie的动作日志不会被正确记录。我已经设定了所有三个propeties。
你好请检查我的答案,而不是火花选择采用试图通过像我的回答 –
提到的说法。如果你是没事的答案,请标志向上“接受由业主“Thx –
非常感谢您的及时响应RamPrasad。我按照您在配置部分中的建议移动了这些属性。现在,我可以将/ user/spark/applictionHistory位置记录为.inprogress。但仍然无法在历史记录服务器中看到任何日志。 – Alchemist