值的读取不是org.apache.spark.SparkContext的成员

Question

scala的版本是2.11.8; jdk是1.8;火花是2.0.2

我尝试在the offical site of spark apache运行LDA模型的例子，我得到了错误信息，从下面的句子：

val dataset = spark.read.format("libsvm") 
    .load("data/libsvm_data.txt") 

错误按摩：

Error:(49, 25) value read is not a member of org.apache.spark.SparkContext val dataset = spark.read.format("libsvm") ^

我不知道如何解决它。

Answer 1

貌似你试图调用read在SparkContext，而不是SQLContext或SparkSession：

// New 2.0.+ API: create SparkSession and use it for all purposes: 
val session = SparkSession.builder().appName("test").master("local").getOrCreate() 
session.read.load("/file") // OK 

// Old <= 1.6.* API: create SparkContext, then create a SQLContext for DataFrame API usage: 
val sc = new SparkContext("local", "test") // used for RDD operations only 
val sqlContext = new SQLContext(sc) // used for DataFrame/DataSet APIs 

sqlContext.read.load("/file") // OK 
sc.read.load("/file") // NOT OK 

Answer 2

为sqlcontext功能完整的语法如下

val df = sqlContext 
       .read() 
       .format("com.databricks.spark.csv") 
       .option("inferScheme","true") 
       .option("header","true") 
       .load("path to/data.csv"); 

在您正在阅读/写作csv文件的情况下