我有一个简单的火花应用程序,它运行良好在我的笔记本电脑上使用。 然而,我当我运行Amazon EC2的集群上使用它得到这个运行时错误:运行火花应用程序失败EC2与hadoop IncompatibleClassChangeError
$ /root/spark/bin/spark-submit --class application.Example --master spark://ec2-54-227-170-20.compute-1.amazonaws.com:7077 /root/example-assembly-0.1-SNAPSHOT.jar
java.lang.IncompatibleClassChangeError: Found class org.apache.hadoop.mapreduce.TaskAttemptContext, but interface was expected
at org.warcbase.mapreduce.WacGenericInputFormat$GenericArchiveRecordReader.initialize(WacGenericInputFormat.java:71)
我确信,/root/example-assembly-0.1-SNAPSHOT.jar
不含org/apache/spark
也不org/apache/hadoop
。
我正在使用spark 1.6.1和hadoop 2.6.0。我看到warcbase依赖于hadoop 2.6.0-cdh5.7.1。
可能是什么问题?