2016-04-14 114 views
1

我希望能够在通过本地网络连接的不同机器上运行多个(通常是长进程)进程。 进程通常是python脚本。在几台机器上运行进程(主要是python)

换句话说,假设我有100个进程和5台机器,并且我不想在每台机器上同时运行超过10个进程。 然后我的“组织者脚本”会在每台机器上启动10个进程,然后在第一个进程结束时发送下一个进程。

有没有办法在python中做到这一点? 任何建议将非常感激!

谢谢!

+0

听起来像你需要星火:) http://spark.apache.org/ – 2016-04-14 14:36:05

+0

使用Erlang =)。 AFAIK没有简单的方法在许多线程上分发Python线程程序。 – Tommy

+0

您需要一些队列处理系统。你可以用扭曲的https://twistedmatrix.com/trac/编写组织者脚本,在其他机器上编写“工作人员”,以便接收组织者的命令来启动一个新的进程,这些工作人员也将获得有关运行进程的信息在“奴隶”机器 – lapinkoira

回答

1

除了“组织者脚本”之外,您还需要在其他每台机器上安装一些程序/脚本,在网络上侦听“组织者脚本”中的命令,启动“工作者”并报告“工人“已经完成。

但您的任务有现有的解决方案。在开始编码之前,请仔细阅读。

+0

谢谢大家的及时回复!这些现有的解决方案呢?你能提一下吗? – fatoddsun

+0

对不起,我现在一无所有。但这项任务并不罕见。 – jhinghaus

相关问题