Hadoop运行时错误

Question

我有学校项目与hadoop一起工作，并将在亚马逊EMR中托管。

起初，我试图用简单的wordcount程序来理解，它在eclipse IDE上运行良好。

但是，如果我试图从命令行运行，我得到以下错误。

在线程异常 “主要” java.lang.NoClassDefFoundError：抛出java.lang.ClassNotFoundException：组织/阿帕奇/ hadoop的/ CONF /在counter.WordCount.main（WordCount.java:56） 配置 所致的有机.apache.hadoop.conf.Configuration at java.net.URLClassLoader $ 1.run（URLClassLoader.java:202） at java.security.AccessController.doPrivileged（Native Method）。

对于此错误以及任何理解hadoop和EMR的资源，您有任何建议吗？

感谢， 妙

Answer 1

不要运行从IDE或java命令你的工作。而是在hadoop安装的bin /目录中使用hadoop脚本。

例子：如果你的工作的出发点是在mrjob.MyJob类，你有一个罐子（job.jar）包含您的招聘类，你应该这样运行：

path/to/bin/hadoop jar job.jar mrjob.MyJob inputFolder outputFolder