2013-02-10 138 views
0

我只是有一个小小的怀疑。我正在使用Hadoop和map reduce。我使用yahoo-vm机器来制作地图缩减应用程序,该应用程序也附带了eclipse插件。但是当我自己试图在计算机上单独安装hadoop时,即使经过很多次尝试,我仍然无法建立eclipse和HDFS之间的链接。我想知道的是建设这些应用程序所需的Eclipse吗?因为我发现它在提交输入和接收HDFS输出时很有用。甚至可以通过地图抢救的自动化来实现。不使用Hadoop Eclipse插件工作

回答

1

MapReduce程序就像任何其他的Java程序一样,它们可以在记事本,vi或任何最喜欢的编辑器中开发。像NetBeans和Eclipse这样的IDE使得Java程序的开发更容易。

Here是一个在不使用Hadoop插件的情况下在Eclipse中开发/调试Hadoop MapReduce程序的博客条目。一旦在Eclipse中开发/调试了该程序,就必须创建一个jar文件,然后使用hadoop jar .....命令将其提交到Hadoop集群。

1

您当然不需要eclipse或任何插件来开发在Hadoop上运行的MapReduce作业。您可以启动Hadoop deamons,将输入数据复制到群集并从控制台提交MR作业。各种插件只会帮助您创建,执行和调试MR作业。

在最小的设置中,可以使用Eclipse(或任何其他IDE)编写代码并将最终项目导出到JAR。你只需要在项目的类路径中引用hadoop罐子。