在新的MapReduce API Reducer中的每个键的输出文件

我正在单台机器Cloudera Sandbox实例上工作，我试图为每个Reducer输出生成一个输出文件。我知道在旧的API中使用MultipleTextOutputFormat类可以做到这一点，但它不再工作。我也不想有下降阶段。在新的MapReduce API Reducer中的每个键的输出文件

我附上图像显示我的问题

来源

2015-09-25 Laurynas Stašys

使用这一个MultipleOutputs。

来源

2015-09-25 16:13:17 alexeipab

我无法使用此类，因为它来自旧的org.apache.hadoop.mapreduce API。当前的API org.apache.hadoop.mapred API不会为MultipleOutputs类实现写入方法。但是，我在[新API]中发现了新的实现（https://hadoop.apache.org/docs/r2.7.1/api/org/apache/hadoop/mapred/lib/MultipleOutputs.html） –

这是另一个方法是，org.apache.hadoop.mapred是旧API，org.apache.hadoop.mapreduce是新的。例如，请参阅Hadoop 0.18的API http://archive.cloudera.com/cdh/2/hadoop-0.18/api/index.html?org/apache/hadoop/mapred/lib/package-summary.html。它有mapper而不是mapreduce包!!! – alexeipab

感谢@alexeipab，这是我犯的一个愚蠢的错误 –

在新的MapReduce API Reducer中的每个键的输出文件

回答

相关问题