很奇怪,我无法在网上轻松找到这些信息,但我无法。所以,我的问题是我有一个卡夫卡话题。我希望两个彼此独立的消费者组消费这个主题的消息。所以,我想要的是两个消费者群体都能够看到并消费彼此独立的所有消息。为了更加清楚,我不想让一个消费者组消费一些消息,并且一些消息被另一个消费组消费;不,我希望2个组消耗消息,就好像另一个组不存在一样。Kafka:多个独立消费者群体可以消费一个主题吗?
1
A
回答
1
是的,多个消费者/消费者组可以独立使用来自主题的消息。每个消费者(或消费者群体)的抵消额分开保存。您可以运行kafka.tools.ConsumerOffsetChecker可以查看任何主题的任何消费群的偏移量如下图所示:
bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --topic test --zookeeper localhost:2181 --group testgroup
注意(这抵消),其中消费者开始读取从主题的消息被自动控制.offset.reset配置。如果设置为最小,则新消费者将从主题的开头(最小)开始或从主题的末尾开始(如果这被设置为最大)。
2
是的,单独的消费群体是完全独立的,所以他们都看到所有消息。
资源分区(主题/分区)只发生在组内。
相关问题
- 1. Kafka:消费者群体中的消费者可以共享数据吗?
- 2. 在Rust消费者中消费多个Kafka主题
- 3. kafka中的多个消费群体
- 4. 单个生产者到多个消费者(相同的消费者群体)
- 5. Kafka关于消费群体的问题
- 6. Kafka消费者控制台订阅多个主题
- 7. pipelinedb消费kafka主题
- 8. spring-cloud-stream-kafka不尊重单个消费者的群体
- 9. 多的消费者从同一主题的消费
- 10. 多个消费群体消费者如何在卡夫卡的同一主题上跨越分区工作?
- 11. kafka消费者上的AssertionError
- 12. clj-kafka - 消费者空
- 13. Kafka消费群集环境抵消
- 14. Kafka - 同一群组/主题上的多个消费者(只有一个活动人)
- 15. 如何在多个消费者阅读相同的kafka消息
- 16. Apache Kafka如何将消息发送给多个消费者组?
- 17. 制片人 - 消费者Scenerio。我有一个生产者和多个消费者
- 18. MassTransit多个消费者
- 19. ActiveMQ一个生产者多消费者
- 20. Apache Kafka:如何找出一个话题的消费群?
- 21. 多个消费者一个队列
- 22. python-kafka:消费者可以根据消息属性跳过消息吗?
- 23. 生产者 - 消费者产生一个项目,并立即进行消费(JAVA)
- 24. activeMQ多个消费者问题
- 25. 多个生产者,单个消费者
- 26. Kafka Streams:使用相同的`application.id`来消费多个主题
- 27. 消费群体负载均衡读者
- 28. 消费者生产者多线程消费者不会消逝
- 29. 卡夫卡多个主题消费
- 30. Pentaho JMS消费者 - 对单个消费者的多个生产者
我不确定我是否理解“资源分区(主题/分区)只在组内发生”。每个主题的分区和复制不能改变每个消费者组;这是您创建主题本身时决定的。 – user1888243
我的意思是将分区分配给消费者,因为在一个组中只能将一个消费者分配给一个分区。 –