如何在代码中获取Hadoop中的统计信息？

Question

我想在我的Java代码中获取一些信息，例如映射输入字节，减少随机字节等。这些信息在Hadoop作业完成后打印到控制台，但是我正在寻找一种方法让他们进入我的代码？

Answer 1

您正在寻找Hadoop计数器。检查出http://lintool.github.io/Cloud9/docs/content/counters.html或Is there a way to access number of successful map tasks from a reduce task in an MR job?。