卡夫卡：分销过程和存储

Question

我正在寻找一种解决方案来分配卡夫卡治疗。 我必须对数百万个独立条目进行一些计算。 因此，我在3个不同的虚拟机上安装了3个卡夫卡经纪商，并开始生产3个不同的线程数据到3个分区的主题。然后，这个想法是与同一消费群体中的3个消费者一起消费这些分区，并将结果存储在另一个过程的另一个主题中。 可悲的是，它最终只在一个分区上存储所有内容，所以只有一个虚拟机。我需要分配存储和处理...

是否有可能以完全并行的方式向不同主题生成数据？ 如果我可以让1个生产者每隔X分钟向每个分区发送大约相同数量的数据，情况会更好。

我正在使用java kafka-clients 0.10.2.0和kafka_2.11-0.10.2.0 brokers。

谢谢

Answer 1

数据按键分区。因此，如果你所有的记录都有相同的密钥，他们将全部进入同一个分区。

您可以在生产者上明确指定要写入的分区，也可以使用导致随机分布的键。