在Oozie中将作业安排为文件触发器

Question

使用oozie我们可以在hadoop中提交作业，是否可以通过文件的可用性来触发作业提交。例如，在将文件成功复制到hdfs之后，Oozie必须提交作业。那可能吗 ？

Answer 1

使用数据集中的'done-flag'标签。像

<datasets> 
    <dataset name="dataset1" frequency="${coord:hours(1)}" 
      initial-instance="${startTime}" timezone="UTC"> 
     <uri-template> 
     ${dataRoot}/${YEAR}/${MONTH}/${DAY}/${HOUR}/ 
     </uri-template> 
     <done-flag>_SUCCESS</done-flag> 
    </dataset> 

</datasets> 

如果完成标志设置为空，则协调器会查找目录本身的存在。 如果_SUCCESS（或标签中指定的任何文件名）文件存在于您的目录中，则协调器将继续进行。请参阅 - https://oozie.apache.org/docs/3.1.3-incubating/CoordinatorFunctionalSpec.html