在多用户dask.distributed集群中分离python环境有哪些选项？

Question

当多个用户上传（upload_file）相同的python文件或zip内容的略微不同的版本时，我特别感兴趣的是避免冲突。

看起来这不是真正的支持用例，因为工作进程是长期运行的并且受到其他环境的更改/添加影响。

我喜欢图书馆的简单按需本地/远程上下文切换，所以希望了解我们可能拥有哪些选项的任何洞察，即使这意味着针对用户特定的工作进程的一些无缝的类似部署步骤。

Answer 1

通常，具有不同用户环境的解决方案是在Kubernetes，Marathon或Yarn等其他工作计划程序之上启动并销毁不同Dask工作人员/计划人员的网络。

如果您需要重复使用同一组dask工作人员，那么您也可以小心地指定workers=关键字一致，但这很容易出错。