0
我能够运行M/R作业,其中使用第三方罐子的mapper和reducer是必需的。我在调用hadoop jar命令时在-libjars中注册这些jar。尽管如此,当运行此类代码所需的作业驱动程序本身(扩展了Configured implements Tool)时(例如在启动和结束时通知某个远程服务),我正面临一个奇怪的问题。使用hadoop jar提交作业时,有没有办法配置classpath?好像-libjars这种情况下不工作...工作驱动程序和第三方罐子
Exception in thread "main" java.lang.NoClassDefFoundError: com/me/context/DefaultContext
at java.lang.ClassLoader.defineClass1(Native Method)
at java.lang.ClassLoader.defineClassCond(ClassLoader.java:632)
at java.lang.ClassLoader.defineClass(ClassLoader.java:616)
at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:141)
at java.net.URLClassLoader.defineClass(URLClassLoader.java:283)
at java.net.URLClassLoader.access$000(URLClassLoader.java:58)
at java.net.URLClassLoader$1.run(URLClassLoader.java:197)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
at java.lang.ClassLoader.loadClass(ClassLoader.java:307)
at java.lang.ClassLoader.loadClass(ClassLoader.java:248)
at com.me.bigdata.mr.pnm.PnmDataCruncher.run(PnmDataCruncher.java:50)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:79)
at com.me.mr.pnm.PnmMR.main(PnmDataCruncher.java:261)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.util.RunJar.main(RunJar.java:156)
Caused by: java.lang.ClassNotFoundException: com.me.context.DefaultContext
at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
at java.lang.ClassLoader.loadClass(ClassLoader.java:307)
at java.lang.ClassLoader.loadClass(ClassLoader.java:248)
我试图用出口HADOOP_CLASSPATH_USER_FIRST =真实-Dmapreduce.task.classpath.user.precedence =真实的,但仍然遇到错误。
我在运行hadoop 1.0.4。
你如何实例化配置对象?确保通过'getConf()'在驱动程序类中检索它 – 2013-03-10 19:41:24