如何让消费者知道生产者已完成将所有消息发送给经纪人？

Question

1：我们正在使用Spark Streaming进行接近实时的处理或批处理。我们目前的设计包括卡夫卡。

2：生产者每15分钟将发送消息。

3：我们计划使用Spark Streaming来消费来自Kafka主题的消息。

Answer 1

一个非常宽泛的问题：

1. 基本上，有没有这样的事情“所有消息”，因为它的流处理（但我还是明白你的问题）。
2. 一种方法是在最后一条消息中注入控制消息，“结束数据突发”
3. 您也可以通过RPC使用一些“侧面通信通道”，以便生产者发送它写入的最后一个偏移量消费者
4. 你可以把一个启发 - 如果poll()做1分钟返回任何结果，你只是假设，所有的数据得到消耗

而且可能还有其他的方法......但是，这一切手工编码 - 卡夫卡没有支持（比较（1））。