卡夫卡消费者滞后JMX

我试图监控卡夫卡0.10消费群体的滞后。卡夫卡消费者滞后JMX

我们的消费者正在跟踪他们在卡夫卡的偏移而不是ZooKeper。这意味着我可以使用以下获得的数字：

bin/kafka-consumer-groups.sh --bootstrap-server <broker> --describe --group <group-name>

这工作得很好。但是，我的经纪人已经使用Prometheus JMX exporter来收集一些统计数据。我已将JConsole连接到代理，但无法看到由kafka-consumer-groups.sh报告的在JMX中报告的相同数据。

反正有没有要求任何额外的工具从卡夫卡与JMX 没有这个信息？

来源

2017-10-06 GuessBurger

的可能的复制的输出[卡夫卡消费者 - JMX属性]（https://stackoverflow.com/questions/37799564/kafka-consumer-jmx-properties） –

“卡夫卡：权威指南“建议使用Burrow：https://engineering.linkedin.com/apache-kafka/burrow-kafka-consumer-monitoring-reinvented –

看来书和Burrow都会共享一位作者。是否有任何具体原因为什么建议Burrow？我们已经有了一个警报/监控工具，所以我不需要这方面，只是消费者滞后信息。 – GuessBurger

您可以检索所有分区的度量kafka.consumer:type=consumer-fetch-manager-metrics,client-id={client-id}的atrributes {topic}-{partition}.records-lag。这应该是等同于consumer-groups.sh

来源

2017-10-09 02:07:10 amethystic

我在'jconsole'中看不到任何'kafka.consumer'。我通过'jmx'连接到代理，因为我们使用了一个非JMV的消费者。 – GuessBurger

正如在评论和“重复”问题中提到的那样 - 这不是经纪人JMX财产，但消费者的 –

'kafka.cosumer'只在用java或scala编写的消费者客户端上......它不在经纪人身上...... – user2061886

卡夫卡消费者滞后JMX

回答

相关问题