如何在oozie工作流任务之间传递数据

Question

Oozie有一套丰富的指令来描述任务之间所需的控制流。它有什么有助于在这些任务之间传递数据吗？或者是将数据完全留给用户？

更新：我使用shell操作来调用spark，所以我需要一个足够一般的解决方案来包含该用例。

Answer 1

为了在Oozie Workflow Tasks之间传递数据，您需要将工作流2的输入定义为工作流1的输出。例如：

<workflow-app xmlns='uri:oozie:workflow:0.1' name='demo-wf'> 
    <start to="workflow1" /> 
    <action name="workflow1"> 
     <map-reduce> 
     <job-tracker>${jobTracker}</job-tracker> 
     <name-node>${nameNode}</name-node> 
     <configuration> 
      <property> 
      <name>mapred.input.dir</name> 
      <value>${workflow1_Input}</value> 
      </property> 
      <property> 
      <name>mapred.output.dir</name> 
      <value>${workflow1_Output}</value> 
      </property> 
     </configuration> 
     </map-reduce> 
     <ok to="workflow2" /> 
     <error to="fail" /> 
    </action> 
    <action name="workflow2"> 
     <map-reduce> 
     <job-tracker>${jobTracker}</job-tracker> 
     <name-node>${nameNode}</name-node> 
     <configuration> 
      <property> 
      <name>mapred.input.dir</name> 
      <value>${workflow1_Output}</value> 
      </property> 
      <property> 
      <name>mapred.output.dir</name> 
      <value>${workflow2_Output}</value> 
      </property> 
     </configuration> 
     </map-reduce> 
     <ok to="done" /> 
     <error to="fail" /> 
    </action> 
</workflow-app> 

注意，给我留下了一堆细节出于对地图，减少工作，只显示输入和输出。当你设置你的属性文件时，你可以定义输入和输出参数。还有一点需要注意的是MapReduce会忽略任何以下划线_作为输入。因此，当第一个MapReduce作业完成时，它将有一个_SUCCESS文件和一个_log目录，这将被忽略作为第二个动作的输入。