无法设置在配置火花提交

我想用下面设置的应用程序JAR主网址：无法设置在配置火花提交

val spark = SparkSession 
    .builder() 
    .master("spark://master:7077") 
    .appName("TestApp") 
    .config("spark.sql.warehouse.dir", "/tmp/spark-warehouse") 
    .getOrCreate()

我尝试运行具有以下参数的jar：

spark-submit -—num-executors 10 -—executor-memory 5G appJar.jar

spark-submit不包含提供给jar的显式选项。当在应用程序jar中设置主URL时，其他配置将被忽略？有人可以解释这个吗？

来源

2017-05-14 sjuggernaut

是什么在'NUM-executors'和'执行-memory'前面的人物？你如何检查选项是否被考虑？ –

为了检查spark配置，你可以尝试以下方法：logger.info（“spark config：”+ sparkConf.toDebugString（））;下面 –

@JacekLaskowski 是我做的 '火花提交SparkArgs.jar --master火花：// sparkmaster：7077 --executor-4G内存--num执行人2' 我检查这个Web UI： '芯：无限制（80批）'' 执行人限制：无限制（授予5）'' 执行人内存：1024.0 MB' 我的代码是相当简单： 'VAL火花= SparkSession.builder（）。 master（masterURL）.appName（“Test Spark Args”）。getOrCreate（） println（“Application id：”+ spark.sparkContext.applicationId） spark.stop（）' – sjuggernaut

我认为正确的做法是让 -

spark-submit --num-executors 10 --executor-memory 5G appJar.jar

来源

2017-05-14 17:48:05

无法设置在配置火花提交

回答

相关问题