通过传递证书在AWS EMR上运行spark

我是EMR的新手，尝试使用类似command-runner.jar spark-submit --deploy-mode cluster --class com.xx.xx.className s3n://mybuckets/spark-jobs.jar
的步骤启动Spark作业。但是，spark作业需要证书作为环境变量，我的问题是什么才是最好的方法将凭据作为环境变量传递给spark工作。
谢谢！通过传递证书在AWS EMR上运行spark

来源

2017-07-07 Chengzhi

看看这里：AWS EMR 4.0 - How can I add a custom JAR step to run shell commands这里：http://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hadoop-script.html 试运行的步骤是这样的（参数）：在/ usr/bin中/火花提交--deploy模式集群--class

来源

2017-07-09 18:50:39

通过传递证书在AWS EMR上运行spark

回答

相关问题