我正在使用oozie执行HDFS数据传输操作,要求在aws S3存储桶中存在可用数据时触发oozie工作流作业。我正在考虑在S3存储桶中保存成功文件以及数据文件,但我不确定如何使oozie协调器定期从S3读取以检查成功文件是否可用。 如果有人可以提供相同的样本coordinator.xml,那将会很棒。如何在aws中存在成功文件时触发oozie作业
1
A
回答
0
你可以试试下面的: -
<coordinator-app name="FILE_CHECK" frequency="1440" start="2017-04-17T00:00Z" end="2018-04-17T00:00Z" timezone="UTC" xmlns="uri:oozie:coordinator:0.1">
<datasets>
<dataset name="datafile" frequency="60" initial-instance="2017-04-16T00:00Z" timezone="UTC">
<uri-template>s3n://mybucket/a/b/${YEAR}/${MONTH}/${DAY}</uri-template>
<done-flag><flag to check></done-flag>
</dataset>
</datasets>
<input-events>
<data-in name="coorddatafile" dataset="datafile">
<instance>${coord:current(0)}</start-instance>
</data-in>
</input-events>
<action>
<workflow>
<app-path><workflow_path></app-path>
<configuration>
<property>
<name>fileDirectory</name>
<value>${coord:dataIn('coorddatafile')}</value>
</property>
</configuration>
</workflow>
</action>
</coordinator-app>
相关问题
- 1. 在Oozie中将作业安排为文件触发器
- 2. 如何在Oozie工作流程EL功能中使用Oozie作业属性?
- 3. 如何在SCM中更改作业B时触发作业A
- 4. 如何在成功时保留PIG作业日志文件。
- 5. 如何在另一个完成时触发作业?
- 6. Dataflow作业“成功”后,临时文件保留在GCS中
- 7. 如何在Maven Build成功后触发批处理文件?
- 8. 使用jar文件在oozie中运行hadoop作业
- 9. 在cloudera中为oozie作业配置JAVA_HOME?
- 10. 如何在Oozie工作流程中使文件成为可选文件?
- 11. 在完成SSIS作业时触发SSRS报告
- 12. Oozie作业失败
- 13. 如何在作业失败时触发laravel作业失败()方法?
- 14. 如何安排OOZIE作业,如果在给定文件夹中发生任何更改?
- 15. 如何在Hangfire作业成功或失败时执行新作业?
- 16. 如何在运行期间在Jenkins中触发作业?
- 17. 如何在成功完成另一个作业后触发jenkins作业,并且这两个作业都在不同的Jenkins服务器上运行
- 18. 如何在iframe在jQuery中完成加载时触发事件?
- 19. 如何在SQL Agent作业中成功运行批处理文件?
- 20. 如何在使用自动完成功能时触发按键()
- 21. 如何在IE11上点击文件时触发保存目标?
- 22. 如何在文件保存时触发重新加载firefox?
- 23. ajax成功没有在Firefox中触发
- 24. 在oozie中使用hive上下文失败的Spark作业
- 25. 使用OOZIE在文件到达NFS时触发执行的最佳方式
- 26. oozie中Hive操作的作业队列
- 27. 从oozie提交猪作业
- 28. oozie作业一再执行
- 29. Oozie shell脚本作业
- 30. Oozie的蜂巢Hadoop作业
可以调用Oozie的REST API启动作业,从AWS LAMBDA触发器,它会被调用在s3上传事件 – Ashan
如何为当前在基于时间的协调器上运行的作业创建oozie REST api? – greperror