Spark cell magic not found

Question

我有python2 env。在与jupyter笔记本的窗户10上。

在本教程下面的说明后，我设法在Windows 10安装火花： https://medium.com/@GalarnykMichael/install-spark-on-windows-pyspark-4498a5d8d66c

但是当我尝试运行细胞魔法SQL我收到以下错误：

ERROR:root:Cell magic %%sql not found.

当我使用％lsmagic我无法在其中找到sql cell魔术。

我还注意到，在Jupyter中启动新笔记本时，没有选择pyspark内核的选项。

Answer 1

您是否正在尝试使用SQL或Spark-SQL？我用iPython-SQL这很棒，还有SparkMagic，这听起来像你在找什么。尝试安装使用%%sql魔法的SparkMagic。