HDFS如何在CopyFromLocal中分发新的块或文件

Question

我已经使用CopyFromLocal上传到HDFS一个大文件，该文件被分解成分布在我的datanode上的较小块。我对HDFS如何选择放置这些块的方式感兴趣 - 它是否为每个块完全随机地选择一个datanode（不管数据节点已经拥有多少块或其备用容量？）还是选择背后的某种方法？这与您上传许多（小）文件时的规则是否相同？

我知道有副本放置的规则，但目前我没有看到复制文件放置的细节，而是放置原始文件本身。

欢呼 艾莉

Answer 1

机架意识是一个概念是NameNode的是知道哪些数据节点位于该机架内，并且数据节点应该选择。