HDFS上的文件块

Question

Hadoop确保来自同一文件的不同块将存储在群集中的不同计算机上吗？显然，复制块将位于不同的机器上。

Answer 1

不可以。如果你看HDFS Architecture Guide，你会看到（在图中）文件part-1的复制因子为3，并且由标记为2,4和5的三个块组成。注意块在一种情况下，2和5在同一Datanode上。

Answer 2

显然并非如此：http://hadoop.apache.org/common/docs/r0.20.2/hdfs_user_guide.html#Rebalancer

Answer 3

相反，我认为。抛开复制，每个datanode将每个数据块作为自己的文件存储在本地文件系统中。

Answer 4

那么Hadoop不能保证。由于这是一个巨大的安全性损失，如果您在作业中请求文件，则会导致完成的作业失败。只是因为一个块不可用。无法想象你的问题的用例，也许你可以更多地了解你的意图是什么。