如何在spark-env.sh.template中设置Python 3中的Pyspark

Question

因为我在我的ipython3笔记本中有这个问题，我想我必须以某种方式更改“spark-env.sh.template”。

例外：Python中的工人在驾驶3.4不同的版本2.7比，PySpark不能用不同的次要版本

Answer 1

Spark尚未与Python 3兼容。如果您希望使用Python API，您还需要Python解释器（版本2.6或更新版本）。

运行IPYTHON=1 ./pyspark时，我遇到了同样的问题。

好速战速决

编辑vim pyspark和改变PYSPARK_DRIVER_PYTHON="ipython"线

PYSPARK_DRIVER_PYTHON="ipython2" 

就是这样。

如果您要检查，其中剂量ipython点，

在终端类型which ipython，我敢打赌，那将是

/Library/Frameworks/Python.framework/Versions/3.4/bin/ipython 

** **修订

最新火花的版本与python 3很好地协作。所以这可能不需要最新版本。

只需设置环境变量：

export PYSPARK_PYTHON=python3

如果你想这种变化是永久性的加入这一行pyspark脚本

Answer 2

我相信你可以分别指定了两下，像这样运行：

PYSPARK_PYTHON=/opt/anaconda/bin/ipython 
PYSPARK_DRIVER_PYTHON=/opt/anaconda/bin/ipython 

基础的在这个其他问题Apache Spark: How to use pyspark with Python 3。