使用Apache Kafka 0.10.0 API创建Kafka经纪人集群使用Java

Question

我想使用Kafka 0.10 API创建经纪人集群，最好使用Java。至于我已经阅读kafka_2.11-0.10.0.0.jar用做支持建立经纪人：

import kafka.cluster.Broker; 
import kafka.cluster.Cluster; 

但我不能找到这样做的任何文件。我最近阅读[1]，其中说明如何使用Java中的Kafka API创建主题。我们是否可以做类似的事情创建代理群集，更新分区，将现有数据/分区迁移到新代理（因为这些新代理不会自动分配任何数据分区，所以除非分区被移动到他们他们不会做任何工作[2]）

[1] How Can we create a topic in Kafka from the IDE using API

[2] https://kafka.apache.org/0100/ops.html#basic_ops_cluster_expansion

Answer 1

我有一些示例代码您可能发现有用的。

要创建经纪人，请看KafkaTestServer。这实际上是为了更简单的测试，所以它不会创建集群，只是一个代理，但扩展应该不难。

一旦我建立了在测试服务器中创建/查询/删除主题的能力，我创建了一个独立的管理客户端来对其他服务器做同样的事情，所以如果您已经创建了代理集群，那么您应该能够使用代码来维护主题。看看KafkaAdminClient。

管理客户端基本上是围绕kafka.admin.AdminUtils类，以便处理所有阶<阶纯Java包装 - 在幕后> Java的转换。