星火和Java：错误ClassCastException异常

我下面正是这个例子 https://github.com/rathboma/hadoop-framework-examples/tree/master/spark 当我尝试运行，我得到这个消息：星火和Java：错误ClassCastException异常

java.lang.ClassCastException: org.apache.spark.api.java.Optional cannot be cast to com.google.common.base.Optional

我不我怎样才能解决这个问题，因为我用我的新手火花。谢谢！有什么建议吗？

来源

2017-06-01 majitux

看起来像您导入了错误的可选类 –

这是因为您使用Spark 1.x来编译代码，但在Spark 2.x群集中运行您的应用程序。您可以更新pom.xml以使用Spark群集的相同版本，并且可能还需要更新代码，因为2.x和1.x不兼容。

来源

2017-06-01 22:10:44 zsxwing

您如何知道群集版本？ –

我已经使用此文件spark-2.1.1-bin-without-hadoop.tgz安装了Spark 2.1.1，然后，我已将Spark与Hadoop安装连接，并在/ usr/local/spark中设置spark-env.sh文件/ conf（我遵循这个：https://spark.apache.org/docs/latest/hadoop-provided.html）。我可以在pom.xml中更改这部分吗？ org.apache.spark 火花core_2.10 2.1.1它可能是工作？ – majitux

@ cricket_007打印'SparkContext.version' – zsxwing

星火和Java：错误ClassCastException异常

回答

相关问题