如何管理spark和scala的多个版本

Question

我有一个纱线群集，另一个服务器只用于向群集提交spark任务。

但是有多个版本的scala说2.10.x和2.11.x，也有1.6.x，2.0.x.2.1.x这样的火花的多个版本。

有没有办法在一台服务器上优雅地管理不同的版本？

Answer 1

当你提交一些东西给纱线时，它并不真正关心运行的东西，只要它知道在哪里得到字节码就可以执行。只要确保在两个数据节点上安装了相同的路径，并从正确的版本提交。我从来没有试过码头工人，但是我在工作中谈到的码头工人似乎并不认为这是个好主意。