2015-11-04 99 views
1

我已经安装了spark。而且,我可以进入我的spark版本中的bin文件夹,并运行./spark-shell并且它可以正常运行。我使用pyspark的路径是什么?

但是,由于某种原因,我无法启动pyspark和任何子模块。

因此,我进入bin并启动./pyspark,它告诉我我的路径不正确。

我对PYSPARK_PYTHON的当前路径与我从中运行pyspark可执行脚本的位置相同。

PYSPARK_PYTHON的正确路径是什么?它不应该是导致火花版本的bin文件夹中名为pyspark的可执行脚本的路径吗?

这就是我现在的路径,但它告诉我env: <full PYSPARK_PYTHON path> no such file or directory。谢谢。

回答

2

PYSPARK_PYTHON的正确路径是什么?它不应该是导致spark版本bin文件夹中名为pyspark的可执行脚本的路径吗?

不,不应该。它应该指向你希望用于Spark的Python可执行文件(例如,从which python输出,如果你不想使用自定义的解释器,只需忽略它; Spark将使用系统中第一个可用的Python解释器PATH,

相关问题