如何部署Spark，它可以使资源利用率最高

Question

我有10台服务器（16G内存，8个内核）并且想要部署Hadoop和Spark，你能告诉我哪个计划可以最大限度地利用资源吗？

1. 立即部署;

2. 安装Openstack，将环境部署到虚拟机中;

3. 使用Docker，例如Docker上的Spark;

我知道与使用场景相关的资源利用率，实际上我想知道上面三个计划的优缺点。

谢谢。

Answer 1

为获得最高的资源利用率，为Spark和Hadoop部署单个资源管理器将是最佳途径。有两种选择：

• 使用YARN部署Hadoop集群，因为Spark可以在YARN上运行。
• 部署Apache Mesos集群，并在其上运行Hadoop作业和Spark。

隔离Spark集群和Hadoop集群没有提供这方面的优势，并且会导致更高的开销和更低的资源利用率。