2017-02-27 88 views
1

我已按照本书中的说明:“Apache Spark在24小时内”中的说明在我的Mac上安装了spark。当我在火花目录,我可以通过使用命令来运行pyspark:安装Apache Spark后无法从Mac上的任何目录运行pyspark命令

./bin/pyspark 

要安装的火花,我创建了环境变量:

export SPARK_HOME=/opt/spark 

它添加到路径:

export PATH=$SPARK_HOME/bin:$PATH 

书上说,我应该能够运行“pyspark”或从任何目录下的“火花壳”命令,但它不工作:

pyspark: command not found 

我接着问别人放在这里就类似的问题说明:

设置我的JAVA_HOME环境变量:

export JAVA_HOME=$(/usr/libexec/java_home) 

我也跑以下命令:

export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH 
export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.9-src.zip:$PYTHONPATH 

当我运行env命令这是输出:

SPARK_HOME=/opt/spark 
TERM_PROGRAM=Apple_Terminal 
SHELL=/bin/bash 
TERM=xterm-256color 
TMPDIR=/var/folders/hq/z0wh5c357cbgp1dh33lfhjj40000gn/T/ 
Apple_PubSub_Socket_Render=/private/tmp/com.apple.launchd.fJdtLqZ7dN/Render 
TERM_PROGRAM_VERSION=361.1 
TERM_SESSION_ID=A8BD2144-72AD-402C-A591-5C8A43DD398B 
USER=richardgray 
SSH_AUTH_SOCK=/private/tmp/com.apple.launchd.cQeqaF2v1z/Listeners 
__CF_USER_TEXT_ENCODING=0x1F5:0x0:0x0 
PATH=/opt/spark/bin:/Library/Frameworks/Python.framework/Versions/3.5/bin: /Library/Frameworks/Python.framework/Versions/3.5/bin:/Library/Frameworks/Python.framework/Versions/2.7/bin:/usr/local/heroku/bin:/Users/richardgray/.rbenv/shims:/usr/local/bin:/usr/bin:/bin:/usr/sbin:/sbin:/usr/local/bin:/usr/X11/bin 
PWD=/Users/richardgray 
JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_25.jdk/Contents/Home 
LANG=en_GB.UTF-8 
XPC_FLAGS=0x0 
XPC_SERVICE_NAME=0 
SHLVL=1 
HOME=/Users/richardgray 
PYTHONPATH=/opt/spark/python/lib/py4j-0.9-src.zip:/opt/spark/python/: 
LOGNAME=richardgray 
_=/usr/bin/env 

有什么我失踪?提前致谢。

+0

'LS的/ opt /火花/ bin',看看二进制代码可以 –

+0

你可以只使用自制软件,顺便 –

回答

1

你写

当我在火花目录,我能够通过使用 运行命令pyspark:./bin/pyspark

您创建export SPARK_HOME=/opt/spark

能否请您确认spark directory确实是/opt/spark

如果从/Users/richardgray/opt/spark/bin执行火花请设置:

export SPARK_HOME=/Users/richardgray/opt/spark 

依次为:

export PATH=$SPARK_HOME/bin:$PATH 

注意:如果解决你的问题,你需要这两个出口添加到您的登录脚本(例如.profile)这样的路径将被自动设置

+0

火花的确是从选择的/ opt /火花 –

+0

LS /火花: –

+0

LICENSE \t \t \t \t CONF \t \t metastore_db 注意\t \t \t \t数据\t \t蟒 ř\t \t \t \t的derby.log \t sbin目录 README.md \t \t例子\t \t斯卡拉 - 2.12.1.deb RELEASE \t \t \t罐子\t \t \t火花仓库 斌\t \t \t许可证\t \t纱 –