如何通过网络拆分python任务

Question

我有一个python程序，执行几个独立和耗时的过程。 python代码通常是一个automater，它通过popen调用几个批处理文件。

该程序目前需要几个小时，所以我想分割它跨越多台机器。我如何将任务分解为与python并行处理，通过Intranet网络进行处理？

Answer 1

有很多Python并行化框架。只是选项二：

• 的IPython

• 并行计算设施的并行计算框架jug

Answer 2

对于远程执行，你可以使用execnet。你是否也必须分发数据？

Answer 3

我可能会建议STAF。它被称为软件测试框架，但它允许跨多台PC（和多个平台）分发活动。您可以运行脚本，复制数据，并轻松地在多个会话之间进行通信。最重要的是，与现有脚本集成相当容易。