0
关于能够使用Spark运行机器学习作业。 Yarn调度程序或Spark Standalone调度程序是更好的选择吗?对于Cloudera 5.4 hadoop集群,火花独立调度程序或Yarn调度程序更好吗?
关于能够使用Spark运行机器学习作业。 Yarn调度程序或Spark Standalone调度程序是更好的选择吗?对于Cloudera 5.4 hadoop集群,火花独立调度程序或Yarn调度程序更好吗?
运行实际的火花作业没有区别。
如果您的群集中运行不同的Spark应用程序和/或运行其他组件(当然支持纱线/ Mesos),纱线/ Mesos可帮助您安排资源。
Spark独立群集无法管理资源。也就是说,如果您启动Spark应用程序并使用所有资源,则第二个应用程序将找不到任何剩余资源。这意味着你必须自己做(例如相应地调整Spark配置)
这一切都依赖于,我没有看到任何显着差异,但是在这两个集群管理器中是否有具体的您正在寻找和比较的具体内容? – Sumit