有没有办法从hadoop中收集reducer的输出？

Question

有没有办法从reducer收集输出并防止写入文件？我想在写入文件之前对减少的输出进行排序。

Answer 1

不，没有办法做到这一点。 MapReduce作业必须将结果写入文件。

如果我理解正确，您想以某种方式对reducer输出进行排序，而不是通过传递给reducer的键进行默认排序。

您有这2点可能的方式：在地图上期

1. 更改输出键，另外一个通过你的数据 应该简化阶段进行排序。
2. 如果第一种方式是不可能的，您可以 排序reducer输出另一个MapReduce作业或不同的工具。 您可以从指定主作业的输出目录的相同 驱动程序的主作业之后开始将作业分拣为排序作业的输入目录 。