2016-09-16 621 views
5

我正在运行RHEL 6.7,并设置了Anaconda。 (水蟒4.10)。 Jupyter正在开发OOTB,默认情况下它有Python内核。一切都很华丽,所以我可以在Jupyter中选择“python notebook”。为Jupyter(Anaconda)安装Scala内核(或Spark/Toree)

我现在正在寻找使用Jupyter的Scala。 (它看起来像火星内核 - 现在Toree会工作吗?)

我见过的每个问题/答案都没有引用我遇到的问题。

我试图安装Toree,并没有

sudo pip install toree 

和它的工作。但是,再下一步是太

jupyter toree install 

而且错误我得到的是:

jupyter toree install 
Traceback (most recent call last): 
    File "/usr/app/anaconda/bin/jupyter-toree", line 7, in <module> 
    from toree.toreeapp import main 
ImportError: No module named toree.toreeapp 

我失踪了一步?我做错了什么?如果我需要提供更多信息,我也会很高兴。谢谢!

编辑:在Jupyter中获得Scala笔记本的标准/最简单/可靠的方法是什么? (TL; DR)

回答

0

首先,确保你设置你的shell环境SPARK_HOME变量指向哪里火花的位置,例如:

export SPARK_HOME=$HOME/Downloads/spark-2.0.0-bin-hadoop2.7 

接下来安装toree

sudo jupyter toree install --spark_home=$SPARK_HOME 
+1

我不认为这是只需要使用,但实际上在Torre上开发......“这意味着您需要在您的机器上本地安装sbt,jupyter/ipython和其他开发需求。“make release”可能会更好,但即使这也需要Docker –

+1

我认为OP已经通过github页面并冲过了需求,所以在这里我只描述了让Apache Toree启动并运行的“最简单”方式:他问。 – 7kemZmani

+0

我没有码头工人,我不打算只用Toree - 除非当然需要,我当然认为我看到了没有码头工具的说明,但也许不是。 : https://toree.incubator.apache.org/documentation/user/quick-start,是当我得到问题...错误:“ImportError:没有模块名称toree.toreeapp”后运行第二个命令,“jupyter toree install --spark_home =/usr/local/bin/apache-spark /” – robromo

2

如果你试图用2.11获得spark 2.0,你可能会得到奇怪的消息。 您需要更新到最新版本0.2.0 对于Ubuntu 16.04 64bit。我在 https://anaconda.org/hyoon/toree

这对蟒蛇2.7 &你需要畅达包& TGZ文件。如果你不知道怎么回事,然后就下载TGZ然后

tar zxvf toree-0.2.0.dev1.tar.gz 
pip install -e toree-0.2.0.dev1 

,我更喜欢到:

jupyter toree install --interpreters=Scala --spark_home=/opt/spark --user --kernel_name=apache_toree --interpreters=PySpark,SparkR,Scala,SQL 

将在~/.local/share/jupyter/kernels创建内核(--user是关键)

快乐的火花!

0

以下为我工作(与康达4.2.13):

conda install -c creditx toree 

然后,

jupyter toree install --spark_home=/home/crocefisso/Softs/spark-2.0.0-bin-hadoop2.7 --user 

其中/home/crocefisso/Softs/spark-2.0.0-bin-hadoop2.7是我把星火