未指定Spark-shell路径例外

我在Linux上使用2.1版的spark shell。未指定Spark-shell路径例外

./bin/spark-shell --packages org.apache.spark:spark-sql-kafka-0-10_2.11:2.1.0

星火壳以及启动没有任何问题。

val ds1 = spark.readStream.option("kafka.bootstrap.servers", "xx.xx.xxx.xxx:9092,xx.xx.xxx.xxx:9092").option("subscribe", "MickyMouse").load()

我得到下面的异常

java.lang.IllegalArgumentException: 'path' is not specified 
    at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$9.apply(DataSource.scala:205) 
    at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$9.apply(DataSource.scala:205) 
    at scala.collection.MapLike$class.getOrElse(MapLike.scala:128) 
    at org.apache.spark.sql.catalyst.util.CaseInsensitiveMap.getOrElse(CaseInsensitiveMap.scala:23) 
    at org.apache.spark.sql.execution.datasources.DataSource.sourceSchema(DataSource.scala:204) 
    at org.apache.spark.sql.execution.datasources.DataSource.sourceInfo$lzycompute(DataSource.scala:87) 
    at org.apache.spark.sql.execution.datasources.DataSource.sourceInfo(DataSource.scala:87) 
    at org.apache.spark.sql.execution.streaming.StreamingRelation$.apply(StreamingRelation.scala:30) 
    at org.apache.spark.sql.streaming.DataStreamReader.load(DataStreamReader.scala:124) 

The kafka server is up and running.

任何想法如何，我可以成功地从卡夫卡源读取。

来源

2017-04-27 user1959730

您忘记拨打format方法。默认格式为parquet。这就是为什么它正在寻找一条道路。将代码更改为spark.readStream.format("kafka").option...可以解决此问题。

来源

2017-04-27 00:58:38 zsxwing

我之前尝试过：val ds1 = spark.readStream.format（“kafka”）。option（“kafka.bootstrap.servers”，“xx.xx.xxx.xxx:9092,xx.xx.xxx。（）“）; load（）java.lang.ClassNotFoundException：找不到数据源：kafka。请在http://spark.apache.org/third-party-projects.html找到软件包，我尝试在网页上查找，但不知道如何解决问题。感谢您的答复。欣赏它 – user1959730

引发：java.lang.ClassNotFoundException：kafka.DefaultSource at scala.reflect.internal.util.AbstractFileClassLoader.findClass（AbstractFileClassLoader.scala：62） at java.lang.ClassLoader.loadClass（ClassLoader.java:424 ） at java.lang.ClassLoader.loadClass（ClassLoader.java:357） – user1959730

您需要将结构化流式Kafka连接器添加到您的类路径中。请参阅http://spark.apache.org/docs/latest/structured-streaming-kafka-integration.html#deploying确保更改参数以匹配您的Scala版本。 – zsxwing

未指定Spark-shell路径例外

回答

相关问题