AWS lambda函数提交spark工作

我想在AWS lambda函数中使用Spark-sumit REST API来提交jobs.I已经查看了Spark-Jobserver，但看起来需要将它部署在\ n Ec2实例中，但我想使用Spark REST接口使用AWS Lambda函数提交作业。请提示。AWS lambda函数提交spark工作

来源

2017-09-25 shiv455

您可以将步骤从lambda添加到EMR群集。该步骤可以是shell脚本，配置单元或火花作业。

，有助于做到这一点是

emr.addJobFlowSteps(params, function(err, data)

我使用的独立集群添加可用的链接API调用电子病历 http://docs.aws.amazon.com/AWSJavaScriptSDK/latest/AWS/EMR.html

来源

2017-09-25 15:30:06 Achyuth

林不使用电子病历的功能.. – shiv455

你有集群中的作业服务器？ – Achyuth

我没有使用Spark jobserver，因为我说我想使用AWS lambda和spark REST接口 – shiv455

AWS lambda函数提交spark工作

回答

相关问题