IntelliJ IDEA以本地模式运行火花代码，无法找到数据源

Question

当我在本地模式下运行IntelliJ IDEA中的LogisticRegression的Spark示例时，无法找到本地文件路径，无论是相对路径还是绝对路径。请给我一只手，谢谢。

这里是ENV-INT代码：

val conf = new SparkConf().setAppName("Titanic").setMaster("local") 
val sc = new SparkContext(conf) 
val sqlContext = new SQLContext(sc) 

比负载功能：

def load(path: String, sqlContext: SQLContext, featuresArr: String*): DataFrame = { 
var data = sqlContext.read.format("com.databricks.spark.csv") 
    .option("header", "true") 
    .option("inferSchema", "true") 
    .load(path) 
    .toDF(featuresArr: _*) 
return data} 

我这样调用加载函数：

var train_data = load("file://D:/spark-works/input/train.csv", 
    sqlContext, 
    "PassengerId", "Survived", "Pclass", "Name", "Sex", "Age", "SibSp", "Parch", "Ticket", "Fare", "Cabin", "Embarked").cache() 

path参数我还尝试过：“input/train.csv”。但从来没有工作

Answer 1

它的老一点，但同时工作在类似的东西看到的问题。如果你还没有找到它。

var train_data = load("file://D:/spark-works/input/train.csv", 

应该

var train_data = load("file:///D:/spark-works/input/train.csv", 

诀窍是///正斜杠。

希望这会有所帮助。