用Apache Spark查询REST Web服务？

Question

我们有一些关于Hadoop的数据，需要通过REST服务才能提供给我们的数据。我们使用Spark搜索并更正丢失的数据。尽管有很多记录可以搜索缺失的数据，但对服务的调用总数预计很低，所以在我们搜索数据时，完成Spark中的整个工作是理想的选择。

我没有在API或Google上看到有关从Spark作业中创建REST调用的任何明显信息。可能吗？

感谢

Answer 1

没有什么火花特定这一点，你可以用你喜欢的Java或Scala的HTTP库拨打电话，可能是在一个地图功能，这将返回输入数据，并且您从获取的数据服务。