kafka消费者读取和写入同一分区

Question

可以来自不同组的两位消费者从同一主题和分区x中读取并且写入另一个主题和分区y？

我会实施消费者策略，其中一位消费者放弃其他消费者处理的数据。 生产者将数据保存到共享分区的顺序并不重要。

我只是想知道这是否可能

Answer 1

你可以在这里有两种不同的方法：

• 消费者在不同的消费群体。这意味着两者都会收到所有消息，并且取决于您的业务逻辑，以便在消费者处理消息时忽略某些消息。
• 消费者位于同一个消费群组，因此他们将收到不同的分区，并且您拥有消息传递给消费者而不是其他消息。您正在利用Kafka功能，但这取决于如何使用默认循环方式或使用每条消息或自定义分区程序的密钥对数据进行“分区”。

我在第二个解决方案中看到的唯一问题是重新平衡。如果消费者脱机然后回来，重新平衡发生并且分区可能以不同的方式分配。即您开始从分区P1和P2读取消费者C1，并从分区P3和P4读取C2。想象一下，C2离线。首先，如果它离线了更多时间，C1将获得所有分区（我不知道它是否适合您的场景），但是当C2重新联机时，重新平衡发生并且分配的分区可能会不同，即分配了P1和P2到C2（不再是C1），P3和P4到C1（不再是C2）;这取决于这种消费者在分区上交换是否是您的应用程序逻辑的问题。