我可以缩小azure hdinsight群集吗？

我已经创建了8个节点集群的azure hdinsight。我正在运行配置单元查询占用所有工作节点。当我检查纱线节点-list，下面列出：我可以缩小azure hdinsight群集吗？

Node-Id    Node-State Node-Http-Address  No-of-Running-Containers 
X.X.X.X:00050  RUNNING X.X.X.X:00060     8 
X.X.X.X:00050  RUNNING X.X.X.X:00060     8 
X.X.X.X:00050  RUNNING X.X.X.X:00060     8 
X.X.X.X:00050  RUNNING X.X.X.X:00060     8 
X.X.X.X:00050  RUNNING X.X.X.X:00060     8 
X.X.X.X:00050  RUNNING X.X.X.X:00060     8 
X.X.X.X:00050  RUNNING X.X.X.X:00060     8 
X.X.X.X:00050  RUNNING X.X.X.X:00060     8

一些小时后，映射器已经完成，2个减速运行，象下面这样：

Node-Id    Node-State Node-Http-Address  No-of-Running-Containers 
X.X.X.X:00050  RUNNING X.X.X.X:00060     0 
X.X.X.X:00050  RUNNING X.X.X.X:00060     1 
X.X.X.X:00050  RUNNING X.X.X.X:00060     0 
X.X.X.X:00050  RUNNING X.X.X.X:00060     0 
X.X.X.X:00050  RUNNING X.X.X.X:00060     1 
X.X.X.X:00050  RUNNING X.X.X.X:00060     0 
X.X.X.X:00050  RUNNING X.X.X.X:00060     0 
X.X.X.X:00050  RUNNING X.X.X.X:00060     0

在这个阶段到达时，我们能否缩小不影响正在运行的2个工作节点的集群？

来源

2017-05-26 natarajan k

您是否检查减速器读取/写入哪些HDFS DataNode？在重新平衡文件块的方面，您是否读过关于DataNode意味着“退役”的内容，以便每个文件块仍被复制3次？ –

换句话说，Hadoop不仅是一个分布式计算框架，它还是一个分布式**文件系统**。它移动数据。你会在运行时将硬盘从笔记本电脑中掏出来吗？ –

就我个人而言，我还没有试图扩展正在运行的HDInsight群集，但我已阅读支持的群集扩展操作（在作业正在运行时）的官方documentation。支持的应用程序是：

Hadoop的
HBase的
星火

你可能不应该与蜂巢查询运行，因为（1）蜂巢不在列表规模，和（2）该文档描述了如果按照以下方式运行作业缩减Hadoop作业会发生什么情况。恕我直言，这可能发生在Hive工作上。

当通过减少数据节点数量来缩小Hadoop集群时，集群中的某些服务将重新启动。这会导致所有正在运行的待执行作业在完成缩放操作时失败。但是，您可以在完成操作后重新提交作业。

来源

2017-05-30 02:40:00 volatilevar

我可以缩小azure hdinsight群集吗？

回答

相关问题