Datanode磁盘卷故障之一

Question

来自我的hadoop集群datanode的磁盘之一已成为只读。我不确定是什么导致了这个问题。 从数据节点中删除此卷会导致数据丢失吗？ 如何处理这个如果我要面对数据丢失？

Answer 1

如果您的hadoop群集的复制因子超过1（默认情况下它对于多节点群集为3），则您的数据必须已复制到多个datanode上。您可以在hdfs-site.xml中检查您的复制因子值（dfs.replication）。

所以，现在如果您从群集中删除此只读数据节点，并且复制因子超过1，那么您将不会面临任何数据丢失。因为您的集群将在其他datanode上具有相应的副本。为了平衡复制品，未复制的块将由hdfs自动处理，随后hdfs将保持稳定。