将reducer输出目录路径保存到Hadoop中的变量中

该变量将被所有其他MR作业使用。

这些工作将是连续的。

所有顺序MR作业都会将其相应的输出写入该输出目录。

我需要他们的路径变量进行相应的更新。

2011-05-30 Kal

也许我误解你，但你希望所有MR作业输出到同一个目录？你不能那样做;作业的输出目录必须为空。 – ajduff574 2011-05-31 14:59:33

或者你想连锁一起工作，其中一个的输出是下一个的输入？ – ajduff574 2011-05-31 15:00:30

您是从shell还是从java程序提交？ – 2011-05-31 18:29:40

看看“Oozie”。这是一个Hadoop工作流程引擎，它允许您描述的内容。多个作业可以将其“输入”作为上一份作业的“输出”。

还有其他解决方案，如“级联”API。

http://www.concurrentinc.com/products/ http://yahoo.github.com/oozie/releases/2.0.0/#Quick_Start

2011-05-31 18:13:24

谢谢Jeremy但问题是我不能使用“级联”，但我会尝试使用Oozie。目前，我正在使用简单的Hadoop代码来解决问题，如果它不起作用我将使用Oozie。 – Kal 2011-06-01 08:22:12

回答