sc.textFile不能在文本文件

Question

我使用的IntelliJ斯卡拉低于

解析符号是我的代码：

import org.apache.spark.SparkConf 
import org.apache.spark.sql._ 
import org.apache.spark.sql.types._ 
import org.apache.spark.SparkContext 
import org.apache.spark.SparkContext._ 
object XXXX extends App{ 

    val sc = new SparkConf() 
    val DataRDD = sc.textFile("/Users/itru/Desktop/XXXX.bz2").cache() 
} 

我build.sbt文件包含如下：

name := "XXXXX" 
version := "1.0" 
scalaVersion := "2.11.8" 
libraryDependencies ++= Seq("org.apache.spark" %% "spark-core" % "1.5.2" %"provided", 
"org.apache.spark" %% "spark-sql" % "1.5.2" % "provided") 

包下载，但仍然我看到错误“无法解析textFile符号”我是否缺少任何库依赖关系

Answer 1

您还没有初始化您的SparkContext。

val sparkConf = new SparkConf() 
val sc = new SparkContext(sparkConf) 

val dataRDD = sc.textFile("/Users/itru/Desktop/XXXX.bz2").cache()