Spark Streaming - 本地调用REST API vs构建功能以实现Spark Streaming

Question

我们拥有管理时间序列数据的特定功能。功能已经作为REST API提供，并在Cloudfoundry上运行。我们希望使用Spark Streaming和kafka提供对摄取时间序列数据的支持，以便该解决方案具有更高的可扩展性和可靠性。 从spark spark intead调用REST API在Spark中本地构建功能的缺点是什么？

Answer 1

我认为如果您的REST API可以支持Spark Streaming的吞吐量，那么REST API可以直接支持吞吐量。在这种情况下，您根本不需要Spark Streaming。如果你需要的是一个意外尖峰的缓冲区，那么有比Spark Streaming更简单的方法。

要更直接地解决您的问题，调用REST API会给Spark Streaming管道添加延迟和额外的失败情况。在Spark Streaming中实现您的逻辑直接增加了代码复杂性和可能的​​重复。而且这两个选项都增加了操作复杂性