hdfs map-reduce如何在完全分布式模式下工作

Question

实际上我对hdfs map-reduce如何在完全分布式模式下工作有点困惑。

假设我正在运行一个字数统计程序。我只给出'hdfs-site'&'核心站点'的路径。

那么事情是如何实际进行的？

这个程序是否分布在每个节点上还是什么？

Answer 1

是的，你的程序是分布式的。但是，说它分布到每个节点是错误的。更重要的是，hadoop检查你正在使用的数据，将这些数据分成更小的部分（在配置的一些约束下），然后将你的代码移动到hdfs中的这些部分的节点（我假设你有一个datanode和一个运行在节点上的tasktracker）。首先映射部分在这些节点上执行，从而产生一些数据。这些数据存储在节点上，并且在映射完成后，作业的第二部分将在节点 - 缩减阶段开始。

reducer在一些节点上启动（再次，您可以配置其中的多少个节点）并从映射器获取数据，将它们聚合并将输出发送到hdfs。