通过Web界面运行Hadoop作业

Question

是否有任何方式通过Web界面运行Hadoop作业？例如使用按钮为Hadoop作业执行提供命令。 我想为我的Hadoop项目实现一个Web界面。

谢谢！

Answer 1

Cloudera会很有用，它是为此目的而设计的。

http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/4.2.2/Hue-2-User-Guide/hue26.html

Answer 2

尝试以下选项：

选项-1

1. 创建Web服务的Java Web项目和所有UI输入添加到该客户端服务器。
2. 创建另一个web项目作为远程服务器，并接收所有上述作业输入并将其传递给作业。

远程服务器web项目应该位于群集中，并始终处于运行状态并捕获客户端信号。

在服务器端使用JSCH，并在您从UI传递的所有hadoop命令时调用。

OR

选项 - 2

你可能在你一个MySQL数据库和所有工作参数，从UI储存。然后用JSCH写一个简单的java代码，通过轮询数据库来运行这些hadoop命令。一直运行的可运行jar。

希望上述2个想法能帮助你。