如何将EMR集群连接到EC2服务器

我使用spark来计算并行任务。为了做到这一点，我的项目连接到一个服务器，该服务器产生一些我需要的数据来启动我的火花作业。如何将EMR集群连接到EC2服务器

现在我想将我的项目迁移到aws上的云。

我在EMR上获得了我的Spark应用程序，并在EC2上获得了我的服务器。如何让我的EMR spark应用程序能够在我的EC2服务器上使用http请求？我需要类似网关的东西吗？

谢谢，

有一个愉快的一天。

来源

2017-07-27 DeepProblems

您的EMR集群实际上在EC2服务器上运行。你可以随时SSH到这些服务器。然后肯定你可以ssh到另外一个ec2服务器从emr ec2服务器

来源

2017-07-27 16:09:14 Deepak

你是对的，但我不够准确......我想从EMR使用http来调用EC2上的api。我不确定SSH是否是解决方案，是吗？我只知道ssh作为使用远离机器的一种方式。我会编辑我的文章，以使其更加准确。 – DeepProblems

http更容易;所有你需要的是从你的EMR EC2服务器向你的其他EC2服务器发送一个http请求（使用curl/wget） – Deepak

你的意思是EMR和EC2实例已经互相认识了吗？我认为有一些调整让他们在同一个网络上。好的，谢谢你的回答，我会检查一下。祝你今天愉快。 – DeepProblems

根据我的经验，你应该使用ssh [email protected]###-##-##-###.compute-1.amazonaws.com -i /path/mykeypair.pem而不是ssh -i /path/mykeypair.pem -ND 8157 [email protected]###-##-##-###-.compute.amazonaws.com。第二个命令没有回应。

来源

2017-12-10 21:48:19 Zhijian

如何将EMR集群连接到EC2服务器

回答

相关问题