0
我必须在hadoop 1.0.4许多（也许12个）作业中运行。我希望第一个并行运行，当所有完成并行运行4个其他作业并最后再次运行最后3个并行运行时。我如何在hadoop 1.0.4中设置它，因为我发现所有作业都互相运行而不是并行运行。并行映射减少Hadoop中的作业
A
回答
2
JobControl API可用于MR作业依赖性。对于复杂的工作流程，推荐使用Oozie或Azkaban。 Here是Oozie与Azkaban，
+0
在我的情况下，我可以用户的JobControl，这似乎很容易被使用？ – 2013-04-10 13:13:25
+0
使用JobControl API必须使用命令job.waitForCompletion（true）;每个作业结束后还是从JobControl自动完成？ – 2013-04-11 10:54:38
+1
我有消息工作在状态RUNNING而不是DEFINE – 2013-04-11 10:57:27
相关问题
- 1. 分离Hadoop映射并减少任务
- 2. Hadoop排序映射并减少键值
- 3. 使用Hadoop和HBase减少一个映射然后减少
- 4. 在Haskell中实现高效的并行映射并减少
- 5. 映射并减少返回的NAN值
- 6. Hadoop 2.5.1作业卡在地图0％并减少0％
- 7. Hadoop地图减少例子卡住正在运行的作业
- 8. 在Hadoop中映射和减少class属性
- 9. 如何强制hadoop运行超过1个减少作业
- 10. Hadoop map减少移除小于或大于映射器的值
- 11. 迭代映射减少作业。如何减少输出量并将其输送到下一个阶段？
- 12. 限制hadoop配置单元映射作业的最大减速器的能力？
- 13. MongoDB：映射没有减少？
- 14. 排队和映射/减少
- 15. Hadoop将数据从映射器减少到组合器
- 16. Javascript/JQuery中的异步映射/减少
- 17. MongoDB中嵌套值的映射减少
- 18. Hadoop作业调度与缓存映射器中的作业一起在0.20.203
- 19. Hadoop流式缩减器映射器
- 20. 了解在Hadoop中减少合并
- 21. 如何在并行hadoop作业中运行stando hadoop distritbuion 0.20.0
- 22. 确保将numpy数组操作映射并行减少到重复位置
- 23. MongoDB的映射减少搜索条件
- 24. 使用MongoDB的映射减少
- 25. 划分的数据映射/减少
- 26. Hadoop减少错误
- 27. 如何数据簇映射合并减少对环境的
- 28. 如何限制hadoop中mapreduce java代码中减少作业的数量
- 29. Java 8文件readAlllines映射和减少
- 30. Neo4j-ogm：减少写入/映射性能
使用oozie http://oozie.apache.org/ – banjara 2013-04-10 12:07:16