在计划程序池中提交Spark作业

Question

我在集群模式下运行Spark流作业，我创建了一个内存为200GB（CDH）的池。我想该池中运行我的火花流的工作，我尝试设置

sc.setLocalProperty("spark.scheduler.pool", "pool") 

的代码，但它不工作，我也尝试了 spark.scheduler.pool seems not working in spark streaming，每当我运行它会在默认池中的工作。可能的问题是什么？提交作业时是否可以添加任何配置？

Answer 1

在纱线我们可以添加

--conf spark.yarn.queue="que_name" 到​​命令。然后它将仅使用该特定队列及其资源。