1. 首页
  2. 问答
  3. Hadoop与Web应用程序的集成

Hadoop与Web应用程序的集成

2014-01-23 56 views
0

我想通过给定的用户界面在Hadoop中使用用户选择的文件。应该采取什么方法，在网络中使用Hadoop是一个明智的决定Hadoop与Web应用程序的集成

来源

2014-01-23 Piyush Sharma

+0

这个问题是非常笼统，不是很清楚。请描述你试图达到的目标。 你的意思是让用户从Web界面上传文件，并使用hadoop处理文件？ –

+0

绝对是，我使用Struts框架上传文件并在Hadoop中使用它。这是正确的事情吗？无论何时我试图运行我的Hadoop作业，ClassNotFoundException都将用于Mapper和Reducer类。 –

+0

@PiyushSharma您好Piyush，你可以请分享你是如何将hadoop与struts应用程序连接起来的？您使用哪种API /工具在您的Web应用程序中访问hadoop/hdfs数据，反之亦然？ Hadoop群集内的Web服务器还是外部群集通过http等进行通话？ – Dexter

回答

0

有两个问题 - 如果你应该使用hadoop，以及如何使用hadoop。

  1. 您希望用户通过Web界面上传的典型文件比hadoop开始相关的数据大小要小得多。

所以这是很可能的是，Hadoop是不是这种情况下

  1. 很难知道是什么问题，没有更详细的日志的正确选择。 但最常见的情况是，如果找不到的类是您的类（而不是基础结构类），则需要将您的jar分发到所有hadoop任务。

一个简单的解决方案是在运行应用程序时使用的参数-libjars

看到一个很好的解释here

来源

2014-01-23 13:42:10

+0

对于你的第一点我同意，但我的要求就像Hadoop应该能够使用它中的所有JBoss日志文件。首先尝试上传单个文件后，我们将其自动化，以消耗所有Jboss日志文件 –

+0

我已添加“conf.set（”mapred.jar“，”/ path/hadoop.jar“）;”在我的代码中。现在工作正常 –

相关问题

 相关问题