在群集中启动和停止hadoop守护进程/进程

Question

我有一个有9个节点的Linux群集，并且我安装了hadoop 1.0.2。我有一个使用多个从站的GIS程序。我需要通过使用1,2,3,4,8个从节点来测量我的程序的加速。我使用start-all.sh/stop-all.sh脚本来启动/停止群集，一旦我通过改变从站的数量来改变conf/slaves文件。 但是我这样做时出现了更奇怪的错误，并且感觉我没有使用正确的技术在群集中添加/删除从属节点。

任何有关理想的“技术来改变从属文件并重启群集”的帮助将不胜感激。

Answer 1

问题可能是您不允许Hadoop正常从系统中删除节点。

你想要做的是decommissioning节点，以便HDFS有时间重新复制其他地方的文件。该过程本质上是将一些节点添加到excludes文件中。然后，运行bin/hadoop dfsadmin -refreshNodes，读取配置并刷新群集的节点视图。

添加节点时，甚至可能在删除节点时，应考虑运行rebalancer。这将平均分散数据，并有助于您在新节点没有任何数据时可能会看到的某些性能。