如何将火花作业部署到Jenkins的EMR纱线群集？

Question

我使用必须定期运行并从詹金斯提交的纱线，在EMR集群上有几个火花作业。目前，Jenkins机器将在EMR的主节点上进入ssh，其中代码的副本已准备好在要执行的文件夹中。我希望能够将我的repo克隆到jenkins工作区中，并提交来自Jenkins的代码以在集群上执行。有没有简单的方法来做到这一点？从詹金斯部署火花的最佳方式是什么？

Answer 1

您可以使用此rest api调用从詹金斯的HTTP请求启动/停止工作

Answer 2

如果您在詹金斯了Python，使用Boto3是一个不错的，简单，灵活和强大的选项执行脚本。

您可以管理EMR（So Spark）创建完整群集或将作业添加到现有群集。 另外，使用相同的库，您可以管理所有AWS服务。