如何从文件传递配置参数作为火花作业的环境变量？

正在运行一个Spark应用程序，它将使用文件中的配置参数。如何从文件传递配置参数作为火花作业的环境变量？

文件： - Spark.conf

username=ankush 
password=ankush 
host=https:// 
port=22 
outputDirectory=/home/ankush/data/

如何在运行时使用此文件。而不是在我们对配置文件进行更改时重新启动作业如何使作业动态地在运行时选择文件。

我试图使用它与火花提交使用--conf spark.yarn.appMasterEnv但这是寻找一个变量不是为一个文件。

有没有可能实现这一点。

在此先感谢您的帮助。

来源

2017-08-31 ankush reddy

您可以将变量保存在conf/spark-defaults.conf文件中。

编号： https://spark.apache.org/docs/latest/configuration.html#dynamically-loading-spark-properties

来源

2017-09-01 05:47:18

感谢你指着我说。我有一个问题，这将能够在运行时选择属性。假设我在conf/spark-defaults.conf中更改了属性，那么在使用spark-submit提交作业之后，我已经在conf/spark-defaults.conf中设置了所有属性，这会影响已经运行的spark应用程序，还是我必须重新启动应用程序以从conf/spark-defaults.conf中选择更改。 –

假设它与一个长时间运行的火花作业大致相同，当作业开始时它应该读取一定的属性值，当作业在途中时应该读取相同的属性但是更新的属性（当程序是一些其他程序或用户时更新这些属性执行），并且可能是在作业执行相同的长时间运行作业期间的另一个时间点的值集合？是您想要的吗？ –

是的，这就是我要找的。 –

如何从文件传递配置参数作为火花作业的环境变量？

回答

相关问题