oozie：运行数百个并行工作

最初我们有五个表来处理，所以我们为5个表创建fork如下。但现在我们需要并行处理125个表格。如果我拨出所有125个表格，workflow.xml变大并且无法维护。我如何配置工作流以并行处理所有125个表。oozie：运行数百个并行工作

<start to="fork-966"/> 
<fork name="fork-966"> 
    <path start="table1_sqoop" /> 
    <path start="table2_sqoop" /> 
    <path start="table3_sqoop" /> 
    <path start="table4_sqoop" /> 
    <path start="table5_sqoop" /> 
</fork>

帮助感谢。

来源

2015-04-03 Ramakrishna

听起来像125可能不是限制....

另外，如果你需要从125个表读取，我建议重新考虑你的设计。

对于当前的问题，可以做下的1：

叉125倍
包括子流程。这可以是参数'
创建运行125个工作流程的软件包，因此您将只写一次wf'，软件包可以重新运行125次。此外，如果一个是失败，其余仍在运行

再次 - 我认为你需要重新考虑你的设计

来源

2015-04-05 12:05:45 Mzf

oozie：运行数百个并行工作

回答

相关问题