Pyspark读取CSV - NameError：名字“火花”是没有定义

我试图以调用一个火花会话，并用它来打开一个CSV文件运行databricks下面的代码：Pyspark读取CSV - NameError：名字“火花”是没有定义

spark 
fireServiceCallsDF = spark.read.csv('/mnt/sf_open_data/fire_dept_calls_for_service/Fire_Department_Calls_for_Service.csv', header=True, inferSchema=True)

而且我收到以下错误：

NameError:name 'spark' is not defined

任何想法可能是什么错？

我也想跑：

from pyspark.sql import SparkSession

，但得到的回应如下：

ImportError: cannot import name SparkSession

如果有帮助，我试图按照下面的例子（你会明白，如果更好您从17:30开始观看）： https://www.youtube.com/watch?v=K14plpZgy_c&list=PLIxzgeMkSrQ-2Uizm4l0HjNSSy2NxgqjX

来源

2016-11-23 Prosonic

以防万一：[link]（http://spark.apache.org/docs/2.0.0/sql-programming-guide.html#starting-point-sparksession） – mrsrinivas

我正在使用databricks笔记本。我正在关注这个例子（如果你直接跳过它，直到17:00这很容易理解）： https://www.youtube.com/watch?v=K14plpZgy_c&list=PLIxzgeMkSrQ-2Uizm4l0HjNSSy2NxgqjX – Prosonic

我甚至无法导入它下面的代码：从pyspark.sql进口SparkSession 当我得到如下：导入错误：无法导入名称SparkSession – Prosonic

-2

请注意您使用的示例代码为Spark版本2.x

“Spark”和“SparkSession”在Spark 1.x上不可用。您收到的错误消息指向可能的版本问题（Spark 1.x）。

检查您正在使用的Spark版本。

来源

2016-11-23 16:44:56 Ricardo

我使用的Spark 2.0。 – Prosonic

这不是一个答案 –

Pyspark读取CSV - NameError：名字“火花”是没有定义

回答

相关问题