我希望能够在通过本地网络连接的不同机器上运行多个(通常是长进程)进程。 进程通常是python脚本。在几台机器上运行进程(主要是python)
换句话说,假设我有100个进程和5台机器,并且我不想在每台机器上同时运行超过10个进程。 然后我的“组织者脚本”会在每台机器上启动10个进程,然后在第一个进程结束时发送下一个进程。
有没有办法在python中做到这一点? 任何建议将非常感激!
谢谢!
我希望能够在通过本地网络连接的不同机器上运行多个(通常是长进程)进程。 进程通常是python脚本。在几台机器上运行进程(主要是python)
换句话说,假设我有100个进程和5台机器,并且我不想在每台机器上同时运行超过10个进程。 然后我的“组织者脚本”会在每台机器上启动10个进程,然后在第一个进程结束时发送下一个进程。
有没有办法在python中做到这一点? 任何建议将非常感激!
谢谢!
听起来像你需要星火:) http://spark.apache.org/ – 2016-04-14 14:36:05
使用Erlang =)。 AFAIK没有简单的方法在许多线程上分发Python线程程序。 – Tommy
您需要一些队列处理系统。你可以用扭曲的https://twistedmatrix.com/trac/编写组织者脚本,在其他机器上编写“工作人员”,以便接收组织者的命令来启动一个新的进程,这些工作人员也将获得有关运行进程的信息在“奴隶”机器 – lapinkoira