如何配置和重新启动在Azure上运行的HDInsight群集？

Question

具体而言，我想要更改Microsoft Azure上运行的HDInsight群集中每个节点的最大映射器数量和最大减少器数量。

使用远程桌面，我登录到头节点。我编辑了头节点上的mapred-site.xml文件，并更改了mapred.tasktracker.map.tasks.maximum和mapred.tasktracker.reduce.tasks.maximum值。我尝试重新启动头节点，但我无法重新启动。我使用start-onebox.cmd和stop-onebox.cmd脚本来尝试启动/停止HDInsight。

然后我运行流式mapreduce，将所需数量的reducer传递给hadoop-streaming.jar，但减法器的数量仍受上一个mapred.tasktracker.reduce.tasks.maximum值限制。我的大多数减速器都在等待执行。

是否需要更改每个节点上的mapred-site.xml文件？有没有简单的方法来改变这种情况，还是我需要远程桌面到每个节点？如何重新启动或重新启动群集，以便使用我的新值？

感谢

Answer 1

我知道它已经有一段时间，因为这个问题被张贴，但我想张贴谁可能会发现有用的其他用户。

有2种方式，你可以在HDinsight

改变Hadoop配置文件（如mapred-site.xml中，蜂房的site.xml等）

选项＃1： 这是最简单的 - 你可以提供每个作业的hadoop配置值，如本blog

选项＃2： 可以定制配置或安装群集期间用Hadoop配置值HDinsight簇，如本blog

手动修改一个配置文件不受支持，Azure VM重新映像时更改将会丢失。