用于大数据的微服务之间的通信

Question

我正在构建基于弹簧云的微服务ML管道。 我有一个数据摄入服务，它（当前）从SQL获取数据，这些数据需要预测服务使用。

一般认为写入应该使用使用kafka/rabbitmq的基于异步消息的通信。

我不确定的是我该如何编排这些服务？

我应该使用调用摄入以启动管道的API网关吗？

Answer 1

通常情况下，您将建立一个服务与休息端点（春季引导）摄取数据。然后，该服务可以在api网关（Zuul，Spring Cloud）之后多次部署，以关注路由。这是默认的弹簧云微服务设置。摄取服务然后可以转换数据并将其生成到RabbitMQ或Kafka。我建议使用Spring Cloud Stream与队列进行交互，它是RabbitMQ和Kafka之上的抽象，可以使用starters/binders进行配置。

Spring Cloud Dataflow是一种声明式的编排队列的方法，同时也负责部署多个云服务/平台。这也可以使用，但可能会增加您的用例的复杂性。