针对不同磁盘大小的节点的HDFS数据写入过程

我们有10个节点HDFS（Hadoop-2.6，cloudera-5.8）群集，4个磁盘大小为10TB，磁盘大小为6TB，节点数为3TB。在这种情况下，磁盘在小型磁盘节点上不断充满，但磁盘在高磁盘大小的节点上可用。针对不同磁盘大小的节点的HDFS数据写入过程

我试图理解，namenode如何将数据/块写入不同的磁盘大小节点。无论是平分还是写数据的某个百分比。

你应该看看dfs.datanode.fsdataset.volume.choosing.policy。默认情况下，它设置为round-robin，但由于您有不对称的磁盘设置，因此应将其更改为available space。

你也可以与其他两个choosing性能微调的磁盘使用情况。

2017-05-26 18:35:41 tk421

回答