如何在数据集群上重新启动hadoop服务

Question

我可能搜索时使用了错误的术语，但Google并未告诉我如何执行此操作。问题是如何在更改一些配置文件（纱线属性等）后在Dataproc上重新启动hadoop服务？

服务必须在整个集群中按特定顺序重新启动。希望在Dataproc安装中有足够的脚本或工具，我可以调用它来重新启动集群。

Answer 1

配置属性是一个普遍且受到良好支持的用例。

您可以通过cluster properties执行此操作，不需要重新启动守护程序。例如：

dataproc clusters create my-cluster --properties yarn:yarn.resourcemanager.client.thread-count=100

如果你正在做一些更先进的，如更新服务的日志级别，那么你可以使用systemctl重新启动服务。

首先到群集节点ssh并键入systemctl查看可用服务的列表。例如重新启动HDFS NameNode类型sudo systemctl restart hadoop-hdfs-namenode.service

如果这是初始化操作的一部分，则不需要sudo。