写在多个文件输出在Hadoop中

Question

可能重复：
MultipleOutputFormat in hadoop

我想了根据使用Hadoop的地图，减少月写的文件。如果数据是从一月份开始，那么数据应该在jan-file中写入，同样每个月应该有一个单独的文件。

如何建立在Hadoop中mapredude这样的文件。我正在尝试递归map-reduce，但没有得到如何实现它？

PLS建议我一些解决方案。

谢谢。

Answer 1

使用MultipleOutputFormat类，输出文件名可以从钥匙，并从减速机减速机的输出值来推断。必须在用户定义的OutputFormat类中实现MultipleOutputFormat#generateFileNameForKeyValue。

static class MyMultipleOutputFormat extends MultipleOutputFormat<Text, Text> { 
    protected String generateFileNameForKeyValue(Text key, Text value, String name) { 
     String keyString = key.toString(); 
     String valueString = value.toString(); 
     #return a combination of keyString and valueString 
    } 
}