Hadoop post-hook和作业完成通知

Question

我想将Hadoop作业输出导入到Hive表。我如何在map-reduce作业/流程中实现post-hook？或者其他任何自动化选项？

另外，我会在完成作业后发出通知，例如发送电子邮件给用户。我发现这个：https://issues.apache.org/jira/browse/HADOOP-1111，但我不太明白怎么做，因为我是新的地图缩减。

谢谢。

Answer 1

conf.set("mapreduce.job.end-notification.url","url")

会做。 url应该是http url，您将收到回调。

从的javadoc：

设置URI来按顺序发送通知作业完成（成功/失败）之后被调用。

uri可以包含2个特殊参数：$ jobId和$ jobStatus。那些如果存在的话，分别被作业的标识符和完成状态所取代。

这通常由应用程序编写者用异步方式实现Map-Reduce作业的链接。

请注意，较旧的hadoop版本使用job.end.notification.url。
它在较新的版本中被弃用，有利于mapreduce.job.end-notification.url。

参考mapred-default.xml#mapreduce.job.end-notification.url。