2016-10-17 279 views
0

我们有一个12台服务器的hadoop集群(CDH),最近我们要解除其中三个,但是这个进程已经在那里运行了2天以上。但它永无止境,特别是在过去24小时内,我看到三个数据节点上只有94G数据可用,但在过去的24小时内大小似乎没有变化。即使通过重复的块编号已经为零。 hdfs中的所有数据的复制因子为3。CDH HDFS节点退役永无止境

下面是hadoop的fsck命令的结果是:

总尺寸:5789534135468 B(总打开的文件大小:94222879072 B) 总显示目录:42458个 文件总数:5494378个 总符号链接:0(文件目前正在写入:133) 总块(验证):5506578(平均块大小1051385 B)(总打开文件块(未验证):822) 最小复制块:5506578(100.0%) 过度复制块: 0(0.0%) 低复制块:0(0.0%) 误复制的块:0(0.0%) 默认复制因子:3 平均块复制:2.999584 损坏的块:0 缺少副本:0(0.0%) 数据节点的数量:13 机架数:1 FSCK在Mon Oct 17 16:36:09 KST 2016结束于781094毫秒

回答

1

您可以尝试停止datanode上的cloudera代理。

sudo service cloudera-scm-agent hard_stop_confirmed

代理停止后,你可以删除HDFS实例页面,数据节点

希望这个作品