Spark流和卡夫卡集成

我是Apache Spark的新手，我一直在做一个涉及twitter数据情感分析的项目，涉及spark流和kafka集成。用我一直跟着GitHub的代码（下面提供链接）Spark流和卡夫卡集成

https://github.com/sridharswamy/Twitter-Sentiment-Analysis-Using-Spark-Streaming-And-Kafka 然而，在最后阶段，即整合卡夫卡与Apache星火过程中，得到了以下错误

py4j.protocol.Py4JError: An error occurred while calling o24.createDirectStreamWithoutMessageHandler. Trace: 
py4j.Py4JException: Method createDirectStreamWithoutMessageHandler([class org.apache.spark.streaming.api.java.JavaStreamingContext, class java.util.HashMap, class java.util.HashSet, class java.util.HashMap]) does not exist 
    at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:318) 
    at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:326) 
    at py4j.Gateway.invoke(Gateway.java:272) 
    at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132) 
    at py4j.commands.CallCommand.execute(CallCommand.java:79) 
    at py4j.GatewayConnection.run(GatewayConnection.java:214) 
    at java.lang.Thread.run(Thread.java:745)

命令：bin/spark-submit --packages org.apache.spark:spark-streaming-kafka_2.10:1.5.1 twitterStream.py

Apache的版本火花：火花2.1.0彬hadoop2.4

卡夫卡版本：kafka_2.11-0.10.1.1

我还没有能够调试此任何帮助将不胜感激。

来源

2017-02-12 Amal Sailendran

您正在尝试运行的示例被设计为在spark 1.5中运行。您应该从spark 2.1.0下载spark 1.5或运行，但使用与2.1.0相关的kafka软件包，例如： ./bin/spark-submit --packages org.apache.spark:spark-streaming-kafka-0-8_2.11:2.1.0。

来源

2017-02-12 07:25:17 Mariusz

嘿谢谢！它像一个魅力。 –

Spark流和卡夫卡集成

回答

相关问题