强制Spark在所有YARN执行程序上分配任务

我有一个包含5个节点的Spark集群。但是当我运行一个应用程序时，只使用了2个执行程序。如何向所有执行者分配任务？强制Spark在所有YARN执行程序上分配任务

spark tasks

（这些并不总是所使用的相同的图2，但是从不超过2）

2015-10-07 etig

你是如何执行这项工作的？请提供启动脚本或代码。 – emeth

数据：**输入大小/记录：1146.9 KB/9292 **（我尝试了其他应用程序与800MB的输入数据，我有同样的问题）。我执行这样的工作：'./bin/spark-submit --class com.test.RunApp - 主要纱线群集app.jar'。 – etig

纱默认使用2个核。您必须设置num-executors，并且也应该查看executor-cores选项。

来源

2015-10-07 13:41:50

参数'--num-executors n'的作品。或者'spark.dynamicAllocation.enabled'更好（请参阅https://spark.apache.org/docs/latest/job-scheduling.html#configuration-and-setup） – etig

强制Spark在所有YARN执行程序上分配任务

回答

相关问题