Hadoop作业调度查询

Question

我是Hadoop的初学者。

根据我的理解，Hadoop框架以FIFO顺序（默认调度）运行作业。

有什么办法可以告诉框架在特定时间运行作业吗？

即是否有任何方法可以配置为每天在3PM运行作业？

对此非常感激的任何投入。

谢谢，R

Answer 1

怎么样从外部java调度框架，如Quartz调用作业？然后，您可以根据需要运行这项工作。

Answer 2

你可能会考虑使用Oozie（http://yahoo.github.com/oozie/）。它允许（除其他事项外）：

频率执行：Oozie工作流程规范支持数据 和时间触发器。用户可以指定执行频率，并可以等待数据到达 以触发工作流中的操作。

它独立于任何其他Hadoop调度程序，并且应该与其中任何一个调度程序一起工作，因此您的Hadoop配置中可能没有任何变化。

Answer 3

一下怎么样脚本来执行你的Hadoop作业，然后用at命令你想要的工作经常运行一些时间。如果指定要执行，你可以设置一个cron作业来执行你的脚本。

Answer 4

如果Cron没有削减它和/或定制工作流解决方案，我会使用商业调度应用程序。我们使用名为jam的解决方案，但请记住它是面向.net的。