2017-10-20 1204 views
0

我刚安装pyspark 2.2.0使用畅达(在Windows上使用的Python V3.6 7 64位,JAVA V1.8)pyspark:系统找不到指定的路径

$conda install pyspark 

它下载并似乎安装正确无误。现在,当我在命令行上运行pyspark时,它只是告诉我“系统找不到指定的路径。”

$pyspark 
The system cannot find the path specified. 
The system cannot find the path specified. 

我想包括我的PATH环境变量pyspark路径目录,但仍然似乎没有工作,但也许我给错误的道路?任何人都可以请指教。是否需要在PATH环境变量中指定Java路径?谢谢

回答

1

来自PyPi的PySpark(即与pipconda一起安装)不包含完整的PySpark功能;它仅用于在已经存在的集群中使用Spark安装,在这种情况下,您可能需要avoid downloading the whole Spark distribution。来自docs

Spark的Python包装并不是要取代所有其他用例。此Python打包版本的Spark适用于与现有群集(不管是Spark独立群组, YARN或Mesos)进行交互的 - 但不包含设置 您自己的独立Spark群集所需的工具。您可以从Apache Spark downloads page下载Spark的完整版本 。

如果您打算在PySpark shell中工作,我建议您按照上面所述下载Spark(PySpark是它的重要组件)。

+0

谢谢 - 即使在从页面下载后仍然无法启动并运行。是否有必要改变.bashrc中的PATH变量,如[这里]所述(https://blog.sicara.com/get-started-pyspark-jupyter-guide-tutorial-ae2fe84f594f)? – killerT2333

+0

@ killerT2333一般来说,是的;你会在网上找到几十篇文章。如果你发现答案有帮助,请接受它(upvotes也欢迎) - 谢谢 – desertnaut

0
export PYSPARK_PYTHON=python3.5 

当我遇到PATH问题时,这对我有用。希望能帮助到你。 如果没有,请检查你的配置文件。

相关问题