2013-02-22 27 views
1
使用Windows Azure存储

我使用c#.net执行写入地图后,减少function.I已基本沿袭报错here没能看到最后的结果,Reduce函数得到了在MapReduce的

最后的命令的例子

Hadoop的罐子的hadoop-streaming.jar -files “HDFS:///example/apps/map.exe,hdfs:///example/apps/reduce.exe” - 输入“/示例/应用/ data.csv“-output”/example/apps/output.txt“-mapper”map.exe“-reducer”reduce.exe“

作业从Interactive JS模式成功运行enter image description here

现在,如果我写

js> #cat /example/apps/output.txt 

猫:文件不存在:/example/apps/output.txt

其中:

js> #ls /example/apps/output.txt 

找到3项

-rw-r--r-- 3 xxxx supergroup 0 2013-02-22 10:23 /example/apps/output.txt/_SUCCESS 

drwxr-xr-x - xxxx supergroup 0 2013-02-22 10:22 /example/apps/output.txt/_logs 

-rw-r--r-- 3 xxxx supergroup 0 2013-02-22 10:23 /example/apps/output.txt/part-00000 

我在做什么错误以及如何看到输出?

+0

根据日志,我认为您应该可以在/example/apps/output.txt中看到 – 2013-02-22 13:54:35

+0

否...仍然无法看到输出结果。我更新了新的发现。 – 2013-02-24 04:55:41

+0

output.txt下的part-00000是您的输出文件,只是猫它 – 2013-02-25 04:43:11

回答

1

-output标志指定输出文件夹,而不是文件。由于可以有多个减速器,每个减速器都将在该文件夹中生成一个文件。

在这种情况下,你有一个减速器,它产生了一个文件:part-00000。如果有更多的还原剂,它们将被命名为part-00001part-00002等。

命令cat /example/apps/output.txt/part-00000将显示您的输出。在未来,不要命名您的输出文件夹something.txt,因为这只会让您和其他人感到困惑:)