2017-08-30 233 views
0

的首选副本分配当我们创建卡夫卡的话题,经纪人本主题分区分配副本和第一个副本将是首选副本,这意味着卡夫卡集群将分区领导者迁移到首选副本的基础上,的'不平衡率'。卡夫卡

考虑到与经纪人的增加,分区首选副本始终是一个创建的那些话题时分配。因此,随着经纪人规模的变化,负载平衡无法扩展。

所以我想问一下,有当经纪人的卡夫卡当前版本增加可修改首选副本的分配任何策略。

回答

0

卡夫卡文档中,有关于本节:http://kafka.apache.org/documentation/#basic_ops_cluster_expansion

当扩展群集,则可以使用重新分配的工具,kafka-reassign-partitions.sh,将一些现有的分配到新的经纪人。

卡夫卡不提供一种方法来自动执行,但也有第三方工具也可以提供像https://github.com/linkedin/cruise-control

+0

谢谢!我已经知道这件事,但是这个工具需要管理员手动调整副本的任务,如果主题分区的数量增长到大尺寸,这是很难做手工。当然,我们可以让我们的工具在集群扩展时自动调整副本。但是如果卡夫卡可以提供自动化,我们可以节省大量时间。 – dujijun

+0

我添加了一些关于可以自动执行此任务的工具的详细信息 –