使用现有的Apche-Spark Standalone群集进行Mesos配置

Question

我是Apache-spark的初学者！ 我使用4台PC设置了Spark独立群集。 我想在现有的Spark独立群集中使用Mesos。但我读过，我需要先安装Mesos然后配置火花。

我也看到了使用Mesos设置Spark的文档，但它对我没有帮助。

那么如何配置Mesos与现有的火花独立群集？

Answer 1

Mesos是独立Spark经理的替代集群管理器。你不用它，你用它来代替。

• 创建Mesos集群遵循https://mesos.apache.org/gettingstarted/
• 确保分配Mesos机库可使用提交作业
• 集群模式启动Mesos调度（sbin/start-mesos-dispatcher.sh）的机器上。
• 使用Mesos主URI（客户端模式）或调度程序URI（集群模式）提交应用程序。