Hadoop日志键是否映射到reducer映射？

Question

我正在查看Splunk中的Hadoop日志输出。我想看看哪些键被分配给每个reducer。这些信息是由Hadoop记录的吗？我应该在查询中使用哪些关键字来查找相关日志行？

Answer 1

简短的回答是：不，减法器记录与处理的键或值没有关系。

在BigData不是一个好主意记录日志信息，因为日志行数可能非常非常大。

如果您正在运行一些测试数据量小，您可以在您的减速器一些的System.out.println行，但要小心不要让他们当你开始处理大数据量。