大量的频道卡夫卡

Question

我想知道卡夫卡是否有任何限制或开始放缓（由于GC或其他原因），如果我们有大量的频道。我们有大量的数据，我们将通过卡夫卡发送（超过2B数据点）。我们正在考虑拥有大约1600个频道。

有没有人遇到过这样的问题，我们在卡夫卡拥有如此多的频道？同样，你看到当地的DC复制问题与这些大量的通道，最后任何可预见的问题，如果我们使用MirrorMaker交叉DC复制这样的大量的渠道

任何指针的高度赞赏

谢谢

Answer 1

我相信对卡夫卡本身的主题数量没有硬性限制。但是，由于Kafka在Zookeeper中存储了主题信息（// brokers/topics /），并且Zookeeper对最大节点大小有1MB的限制，所以只能有限数量的主题。此外，卡夫卡经纪商在/ var/kafka/data /中存储不同主题的数据。如果/ var/kafka/data /中的子目录太多，性能可能会受影响。

我还没有尝试过数千个话题，但有几百个话题的卡夫卡可以用于我的目的。我遇到问题的唯一领域是使用高级消费者时的动态主题创建。它要求客户端重新连接，以便在所有消费者盒子上选择新的主题。这导致耗时的消费者重新平衡（有时会失败，阻止阅读某些主题）。因此，我不得不切换到简单的使用者，并在代码中关注读取协调。

我建议创建一个简单的测试应用程序，该应用程序根据您期望的主题数生成一些随机数据，并验证性能是否可接受。