为什么我们需要两个不同的火花配置文件？

火花defaults.conf
spark-env.sh

是什么这两个文件之间的差异？我们可以为同一个火花应用程序吗？

2017-02-04 Surender Raja

spark-env.sh：将所有诸如SPARK_YARN_USER_ENVSPARK_HOME等需要这些环境变量火花设备正常工作的系统环境变量。 spark-env.sh是一个shell脚本文件
火花defaults.conf：该文件将所有的火花CONFIGS如 spark.local.dir，spark.yarn.jars。这些配置对于Spark工作正常运行是必需的。以下是Spark的文档。

斌/火花提交也将读取从 CONF /火花defaults.conf，其中的每一行由一个键和由空格分开的值的配置选项。例如：
spark.master   spark://5.6.7.8:7077 
    spark.executor.memory 4g 
    spark.eventLog.enabled true 
    spark.serializer  org.apache.spark.serializer.KryoSerializer Any values specified as 
标志或在属性文件将被传递到应用程序以及与那些通过SparkConf指定合并。直接在SparkConf上设置属性的优先级最高，然后标志将传递给spark-submit或spark-shell，然后选择 spark-defaults.conf文件中的选项。自早期版本的Spark以来，几个配置键已被重命名为 ;在这种情况下，旧密钥名称仍然可以接受，但优先级低于新密钥的任何实例。

来源

2017-02-04 03:56:24

好吧假设我想设置一个属性，这个属性必须被我所有的spark工作使用。如果是这种情况，那么我需要使用哪个属性文件来设置该属性？ –

它应该在spark-defaults.conf下 –

为什么我们需要两个不同的火花配置文件？

回答

相关问题