使用Ambari安装spark 2.1.0 2.4.2.0

我在Spark和Ambari的集群安装上比较新。最近，我得到了一个安装Spark 2.1.0的任务，它在预装了Ambari Spark 1.6.2的HDFS & YARN 2.7.3的集群上。使用Ambari安装spark 2.1.0 2.4.2.0

我的任务是安装Spark 2.1.0，因为它是与RSpark更好的兼容性的最新版本。我在网上搜索了几天，仅在AWS或Spark 2.1.0上找到了一些安装指南。

如下： http://data-flair.training/blogs/install-deploy-run-spark-2-x-multi-node-cluster-step-by-step-guide/ 和http://spark.apache.org/docs/latest/building-spark.html。

但他们都没有提到不同版本的Spark的干扰。由于我需要保持这个群集运行，我想知道群集的一些潜在威胁。

有没有一些正确的方法来做这个安装？非常感谢！

来源

2017-03-17 windsound

您正在使用哪种ambari堆栈以及哪个版本？ HDP，IOP，PHD等？你想让Spark2由Ambari管理吗？ – cjackson

是的，我想让Ambari管理Spark2。实际上，我对Ambari来说是新手，不知道在哪里可以找到HDP，IOP，PHD的所有版本，你能告诉我一个方法吗？非常感谢！ – windsound

登录ambari，点击右上角的管理按钮，选择堆栈和版本，点击版本标签。它会告诉你什么堆栈和你当前使用的版本。 – cjackson

如果你想让Ambari管理SPARK2安装，那么SPARK2必须由Ambari提供。

HDP 2.5.3 does 不支持支持Spark 2.1.0，但它确实带有Spark 2.0.0的技术预览版。

的选项有：

手动安装星火2.1.0，而不是交由Ambari管理
使用星火2.0.0，而不是星火2.1.0这是由HDP 2.5.3
使用不同的堆栈。即。 IBM开放平台（IOP）4.3计划于2017年发布，它将支持Spark 2.1.0。您现在可以使用technical preview release开始使用它。
升级支持Spark 2.1的HDP（2.6）。
扩展HDP 2.5堆栈以支持Spark 2.1.0。您可以看到如何自定义和扩展wiki上的ambari堆栈。这会让你使用Spark 2.1.0，并让它由ambari管理。然而，这将是很多工作要执行的，因为你是Ambari新手，这将是相当困难的。

来源

2017-03-21 14:34:43 cjackson

太谢谢你了！这真的让我走了一条路，你知道谷歌搜索没有真正相关的东西。 :) – windsound

另外，我想知道手动安装Spark 2.1.0有多困难，而不是由Ambari管理。这种行为会毁掉Ambari系统吗？在Ambari软件包以前的安装中，Spark 2.1.0与Spark 1.6.0相冲突吗？ – windsound

我知道可以让它们像Cloudera一样共存。但是我不确定要在Ambari提供的平台上使它们共存而不会导致问题，需要采取哪些措施。有一些HDP文档可用于安装了Spark 1.6和Spark 2.0的群集：https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.5.0/bk_spark-component-guide/content/spark- choose-version.html – cjackson

使用Ambari安装spark 2.1.0 2.4.2.0

回答

相关问题