在ubuntu上安装Apache spark for pyspark

Question

什么是在Ubuntu（16.04）中使用python（pyspark）访问本地机器来安装Apache spark 2.0的简单步骤指南。我试图搜索网络，其中大部分都以一个或其他错误结束。

Answer 1

礼貌：https://www.santoshsrinivas.com/installing-apache-spark-on-ubuntu-16-04/

我在这里写我的脚步，因为我看到几个步骤会有所不同比预期（至少在Ubuntu 16.04）

所以这里的步骤

第1步：

从http://spark.apache.org/downloads.html

第2步下载最新的预建版本： 解压和移动星火

cd ~/Downloads/ 
tar xzvf spark-2.0.1-bin-hadoop2.7.tgz 
mv spark-2.0.1-bin-hadoop2.7/ spark 
sudo mv spark/ /usr/lib/ 

第3步：安装 SBT

echo "deb https://dl.bintray.com/sbt/debian /" | sudo tee -a /etc/apt/sources.list.d/sbt.list 
sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 2EE0EA64E40A89B84B2DF73499E82A75642AC823 
sudo apt-get update 
sudo apt-get install sbt 

注： - 你可能在这个步骤中的一些问题。所以请参考最后提供的链接。

步骤4： 确保安装了Java。如果不是

sudo apt-add-repository ppa:webupd8team/java 
sudo apt-get update 
sudo apt-get install oracle-java8-installer 

步骤5： 配置火花

cd /usr/lib/spark/conf/ 
cp spark-env.sh.template spark-env.sh 
vi spark-env.sh 

并添加以下

JAVA_HOME=/usr/lib/jvm/java-8-oracle 
SPARK_WORKER_MEMORY=4g 

步骤6： 配置bash的文件。

使用以下命令打开的bashrc文件

vi ~/.bashrc(if you want to use vi editor) 
subl ~/.basrc(if you want to use sublime) 

复制下方中的bashrc文件

export JAVA_HOME=/usr/lib/jvm/java-8-oracle 
export SBT_HOME=/usr/share/sbt-launcher-packaging/bin/sbt-launch.jar 
export SPARK_HOME=/usr/lib/spark 
export PATH=$PATH:$JAVA_HOME/bin 
export PATH=$PATH:$SBT_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin 

使用以下命令

source ~/.bashrc 

步骤7中启动的bash文件： 立即试用

pyspark 

注：如果您遇到与SBT安装（通常情况下为Ubuntu 16.04），请尝试以下链接

https://askubuntu.com/questions/771839/problem-installing-package-git-all/771889#771889