升级卡夫卡客户从0.8.2.0到0.11.0.0

Question

目前，在我的公司，我们正在迁移从卡夫卡0.8至0.11，经纪人迁移步骤，并明确卡夫卡文档here

什么我陷在是，升级中陈述客户端（生产者，消费者，火花流），我没有找到任何文档/文章清楚地列出了需要的更改或步骤来跟随客户端，我发现的所有内容是java doc Producer Client

我到目前为止所做的是将我的gradle中的kafka客户端版本更改为kafka-clients-0.11.0.0，并且从汇编角度来看，没有任何c完全改变。

我寻求的帮助是，是否有任何预期的问题我应该照顾，任何客户端更改指针除了kafka客户端版本？

Answer 1

我经历了大量的实验才得以完成。

对于消费者和生产者，我只使用了卡夫卡消费者和生产者0.11.0。

技巧部分取代火花流，火花流最新版本只支持up to kafka 0.10.X，它不包含任何有关新代理的更新。

我在这里推荐，如果你准备从头开始编写应用程序，而你的主要目标是实时流式传输，那么只需要真棒！如果你已经有了Spark应用程序（这是我的案例），你应该判断哪一个比其他哪个更重要，以阻止kafka-broker版本10.X和spark-streaming，它是[experimental][1] btw。

内部具有卡夫卡流的好处不会引发如下：

1. 卡夫卡流是正常的罐子，可以在任何Java应用程序被注入，这样你就不会那么在意部署中，和环境
2. 与使用HDP群集缩放不同，使用任何云服务提供商提供的任何缩放集使用kafka流时，自动缩放非常简单。
3. 使用诸如prometheus之类的东西进行监控会容易得多。