Dataproc节点设置

Question

我知道谷歌dataproc集群配备处理初始化操作 - 这是在创建每个节点时执行的。但是，这对于小型操作来说只是合理的，并且对于创建具有大量管道依赖和节点软件的节点并不会很好。因此，我想知道 - 有没有办法将节点加载为自定义映像，或者在创建了所有安装的节点后启动映像，因此您不必一次又一次下载内容。

Answer 1

好问题。

正如您所注意到的，initialization actions目前是在群集创建时在群集上安装内容的标准方式。如果你有大量的依赖关系，或者需要从源代码编译等，那么这些初始化操作可能会花费一些时间。

我们支持更好的方法来处理我们长期路线图上的定制。这可能是通过自定义图像或其他机制。

在此期间，如果要保留一些自定义设置并拆分启动时间与群集持久性之间的差异，则向上/向下缩放群集可能会提供一些解决方案。同样，如果有任何预编译的软件包，它们总是可以节省时间。