python中的依赖包的批处理

我正在寻找创建不同类型的作业的作业调度程序的最佳方法。 CJobs是线程化的，在进程的下一步可以运行之前，一些工作需要完成。这是目前所有通过数据库表来管理...我认为很好。但是，如果有更好的方法来管理依赖关系，我就会全神贯注。python中的依赖包的批处理

最好我想在python中做到这一点。我看到有平行的python模块，它看起来不错，但是担心作业之间的依赖性问题。

有人可以推荐任何东西，不，我需要做什么或如何去这样做呢？

非常感谢！

UPDATE：这是在每个服务器集群做了一组有限的可用工... 1每个端口。 Celery或SCon支持这个吗？

来源

2011-04-06 deecodameeko

到目前为止，我正在与芹菜和rabbitMQ合作。似乎到目前为止做的伎俩。 – deecodameeko 2012-04-10 19:56:45

我已经有很多成功的与Celery

来源

2011-04-06 16:23:48

好吧，我已经看过芹菜，我喜欢它。我担心的是，如果我有一组工作依赖于另一组工作，那么我可能会让工作人员在执行批次2之前等待批次1完成，而不是重新分配这些工作人员在队列中执行其他工作......试图避免工人停滞不前坐着。也许我需要在论坛上提出一些关于日程安排和依赖关系的问题，如果他们有问题的话。 – deecodameeko 2011-04-07 13:02:51

查看他们的邮件列表或IRC频道freenode（#celery） – 2011-04-07 21:32:09

SCons可以对此很有帮助。

它向软件建设偏置（编译，链接等），但你可以很容易地定义新的结果类，新的命令和新源类，使其处理数据（和依赖性）正常。

基于更新，你可能需要像BuiltBot，也。

来源

2011-04-06 16:37:33

Luigi看起来很有趣。它允许您创建工作流程 - 相关作业集合，这些依赖关系由Luigi管理。它还具有提供依赖关系图的简单Web界面。

来源

2014-01-02 12:49:29 zaan

python中的依赖包的批处理

回答

相关问题