群集中的不同数据节点可能具有不同的存储容量？

Question

可以将不同容量的节点添加到我们的Hadoop集群。

实施例：

Data Node 1 - 1 TB Disk space, 20 GB memory 
Data Node 2 - 5 TB Disk space, 30 GB memory 
Data Node 3 - 60 TB Disk space, 50 GB Memory. 

Answer 1

这是可能的。但为此，您需要不同大小的物理硬盘。

您无法定义使用conf中数据节点的硬盘大小。文件。因此，如果您希望磁盘空间大小不同以便在数据节点中使用，则可以通过安装不同容量的硬盘来实现此目的。

但是，对于所有数据节点而言，块大小将保持相同，因为块大小是针对整个群集定义的，而不是针对单个节点定义的。