MetricBeat - Kafka的consumergroup度量集不会发送任何数据？

我已经运行ZooKeeper和单个Kafka代理，我想用MetricBeat获取指标，使用ElasticSearch对其进行索引，并使用Kibana进行显示。MetricBeat - Kafka的consumergroup度量集不会发送任何数据？

但是，MetricBeat只能从partition度量集中获取数据，而没有任何来自consumergroup度量集。

由于kafka模块被定义为metricbeat.yml期刊，它应该发送它自己的一些数据，而不仅仅是等待用户的交互（f.exam - 写主题）？为了确保自己，我试图创建消费者群体，按主题编写和消费，但仍然没有收集到consumergroup度量标准的数据。

consumergroup在metricbeat.template.json和metricbeat.template-es2x.json两者中定义。

虽然metricbeat.full.yml完全注释了，这是我的metricbeat.yml卡夫卡模块定义：

- module: kafka 
    metricsets: ["partition", "consumergroup"] 
    enabled: true 
    period: 10s 

    hosts: ["localhost:9092"] 

    client_id: metricbeat1 
    retries: 3 
    backoff: 250ms 

    topics: []

在/logs目录MetricBeat的，像这样的线路显示：

INFO Non-zero metrics in the last 30s: 
libbeat.es.published_and_acked_events=109 
libbeat.es.publish.write_bytes=88050 
libbeat.publisher.messages_in_worker_queues=109    
libbeat.es.call_count.PublishEvents=5 
fetches.kafka-partition.events=106 
fetches.kafka-consumergroup.success=2 
libbeat.publisher.published_events=109 
libbeat.es.publish.read_bytes=2701 
fetches.kafka-partition.success=2 
fetches.zookeeper-mntr.events=3 
fetches.zookeeper-mntr.success=3

随着动物园管理员的mntr和卡夫卡partition，我可以看到events=和success=的值，但对于consumergroup只有success。看起来没有事件被解雇。

partition和mntr数据在Kibana中正确显示，而consumergroup丢失。

存储在ElasticSearch中的数据无法用人眼看到，有一些用于目录名称的内部字符串，并且日志不包含任何有用的信息。

任何人都可以帮助我理解正在发生的事情并解决它（可能MetricBeat）发送数据到ElasticSearch？谢谢:)

来源

2017-04-03 milkamar

同样的问题对我来说 – baz

您需要让主动消费者消费主题，才能生成consumergroup度量标准集的事件。

来源

2018-03-09 15:56:54

由于这是相当老的问题，我不记得 - 但我认为有活跃的消费者有。我将结束这个问题，因为我选择了不同的监控。 – milkamar

MetricBeat - Kafka的consumergroup度量集不会发送任何数据？

回答

相关问题