如何解决AWS EMR Spark和Zeppelin版本不匹配问题？

AWS EMR 5.0包含Spark: Spark 2.0.0 on Hadoop 2.7.2 YARN with Ganglia 3.7.2 and Zeppelin 0.6.1预包装，但Zeppelin 0.6.1仅支持Spark 1.6.x.有没有办法解决版本差异而无需构建和部署定制版本的Zeppelin？如何解决AWS EMR Spark和Zeppelin版本不匹配问题？

来源

2016-09-20 SergeyB

emr-5.0.0上定制的Zeppelin版本适用于Spark 2.0。

来源

2016-09-21 02:42:38 spew

相同。在EMR 5.0上运行Zeppelin和spark 2.0并没有问题（包括pyspark和spark） – Niros

注意：emr-5.0.0上的Zeppelin版本是0.6.1-SNAPSHOT，因为0.6.1版本在emr- 5.0.0即将发布。然而，emr-5.0.0发布的0.6.1-SNAPSHOT版本与最终发布的版本0.6.1相差不远，并且它支持Spark 2.0。 –

另外，Zeppelin 0.6.1正式版在emr-4.8.0发布（在emr-5.0.0发布之后的一段时间），Zeppelin 0.6.1将在emr-5.x的下一个版本中发布当它出来。 –

这是不正确的。 Zeppelin 0.6.1是第一个支持Spark 2.0.0的版本。

来源

2016-09-21 10:19:22

请注意，与EMR 5.0.0一起发货的zeppelin 0.6.1-SNAPSHOT有问题，仅部分支持spark 2.0。特别是，UDF不起作用。这在齐柏林0.6.2中得到了解决 – conradlee

如何解决AWS EMR Spark和Zeppelin版本不匹配问题？

回答

相关问题