使用MapReduce获取大文件中的重复记录

Question

我有一个大文件包含> 10万行。我想使用MapReduce来获得重复的行。 我该如何解决这个问题？ 感谢您的帮助

Answer 1

您需要利用MapReduce的默认行为是基于公共密钥对值进行分组的事实。

因此所需的基本步骤是：

1. 阅读中的每一行的你的文件到您映射器可能使用类似的的TextInputFormat。
2. 将输出键（文本对象）设置为每行的值。价值的内容并不重要。如果需要，您可以将其设置为NullWritable。
3. 在减少检查为每个键分组的值的数量。如果你有多个值，你就知道你有一个副本。
4. 如果您只是想要重复的值，请写出具有多个值的键。