2016-02-29 129 views
2

这是关于卡夫卡和一个非常基本的问题,消息是如何消耗掉,但我没能找到这个点的任何答案,遗憾的是:'(当消费者的分区多于消费者时,卡夫卡消息如何消耗?

比方说,我想通过划分了一下,所以我会。得到比消费者多10倍的分区,因为我希望能够扩展(在未来并行处理更多消息),因此需要超过分区

1个主题被100个消费者消费的1000个分区分成= - >得到分配的10个分区

我的问题是:

  • 消息如何为每个消费者消费:它是以循环方式完成的吗?如果不是,分配如何完成?

  • 是否有任何保证消息将在消费者被分配到的10个分区之间平均消费?是否有风险,一些分区永远不会消耗?

我在这一点上找不到任何答案。对不起,如果它是重复的!

回答

1
  • 消息的消耗是在分配给消费者的一组分区之间以循环方式完成的。

  • 不,不保证消息将在分区之间平均消耗。在对KIP-41的文档,你可以看到一个explanation这是如何将工作时,你可以指定信息

+0

我有一些麻烦,以了解如果尚未或未实现的数目。你知道吗? –

+0

KIP-41将在0.9.1的下一个版本中提供,但我给你的其余解释仍然有效。 – Nautilus

+0

非常感谢您的回答和您的研究工作! –