Apache Spark与pip安装不起作用

我试图在Python 11上安装Apache Spark，并在7月11日发布中使用了pip install python命令。然而，尽管这种成功安装，我可以在Python shell中运行Apache Spark与pip安装不起作用

from pyspark import SparkContext

，我不能运行

pyspark

或火花提交访问pyspark外壳，

spark-submit.

两者的错误是'找不到指定的路径'。我在Windows上，怀疑我错过了JAR文件的火花。 pip安装不应该照顾这个吗？

来源

2017-07-17 Almond Joy 50

请阅读http://blog.prabeeshk.com/blog/2015/04/07/self-contained-pyspark-application/ –

pyspark和位置（应该是<spark install directory>\bin）从您的路径中丢失。

您可以通过完全指定它们的位置，导航到它们的安装位置并运行pyspark或将它们添加到您的系统路径来运行它们。

来源

2017-07-17 16:54:56 timchap

谢谢！这部分工作，但遇到了另一个错误。我导航到Python27/Lib/site-packages/pyspark/bin，他们在那里。但是，我如何得到以下消息： '无法找到Spark jars目录。您需要在运行此程序之前构建Spark。看起来我需要使用Maven构建它，但我认为pip安装的全部要点是为了避免这一点？ @timchap –

尝试[这个问题]（https://stackoverflow.com/questions/27618843/why-does-spark-submit-and-spark-shell-fail-with-failed-to-find-spark-assembly-j ）。 – timchap

应该已经谷歌搜索第二个错误。谢谢你的帮助！ –

Apache Spark与pip安装不起作用

回答

相关问题