2017-08-15 81 views
0

我正在使用Spark流在集群上使用kfka主题。我会重新安排我的流媒体应用程序,并希望再次阅读主题mnessages。将卡夫卡主题的潜在客户设置为-1

有没有办法重置群集上的kafka主题线索?

当我描述的主题我得到波纹管描述:

Topic:mahditest PartitionCount:3  ReplicationFactor:2  Configs: 
     Topic: mahditest  Partition: 0 Leader: 1020 Replicas: 1020,1019  Isr: 1020,1019 

,但我需要反感导致-1为每一个主题,所以我可以重新读取消息。

回答

0

取决于你正在存储的偏移量,但如果你是在卡夫卡使用新的消费API存储它们,然后在卡夫卡0.11,你可以重置任何卡夫卡消费者的偏移量(存储__consumer_offsets主题)如果您运行

$ kafka-consumer-groups.sh --bootstrap-服务器localhost:9092 --topic mahditest --group yourconsumer --reset-偏移--to-最早--execute

你应该关闭所有消费者在运行重置偏移命令之前的组中

此命令的0.11版本还应该可以重置0.10.2群集上的偏移量