将Hadoop Mapreduce输出到本地磁盘或标准输出

Question

是否必须将hadoop map reduce程序的输出写入HDFS。我们可以将它写入本地磁盘或将它显示在stdout上吗？

Answer 1

您可以编写一个扩展TextOutputFormat并覆盖getRecordWriter（）方法的自定义类。在那之内，你可以把输出写到本地的FS。

Answer 2

我不认为它必须在hadoop目录中有文件，这取决于你如何运行MapReduce作业。当我从eclipse运行我的mapreduce程序时，它将以“独立”模式运行，并在我的个人文件系统中创建一个文件夹。

mapreduce的另一种操作模式是“分布式”模式。

我的地图减少了驱动程序类行，我提到了输出和输入路径。

FileInputFormat.addInputPath(job, new Path("src/demo/fulldictionary.txt")); 
    FileOutputFormat.setOutputPath(job, new Path("output"));