Hadoop shuffle使用哪种协议？

Question

在Hadoop数据的混洗阶段，映射数据根据reducer的分区跨簇 的节点传输。 Hadoop使用什么协议在reduce节点上执行节点间的数据混洗？

Answer 1

我真的第一次笑了，但整个shuffeling和合并是由HTTPServlet完成。

您可以在匿名类的Tasktrackers源代码中看到此内容MapOutputServlet它获取带有任务和作业ID的HTTP请求，然后它将传入的输入流传输到磁盘上的本地文件系统。