Kafka Connect的Elasticsearch连接器 - 偏移量和时间戳

Question

我正在为kafka连接使用elasticsearch连接器（合流）。我从主题获取消息到elasticsearch索引。如果没有使用密钥，我可以看到offset是_id的一部分。我想根据偏移量和时间戳浏览elasticseach中的消息。

是否可以得到邮件的偏移量和时间戳作为索引中的字段？

这里是elasticsearch文件

{ "_index": "test-elasticsearch-sink", "_type": "kafka-connect", "_id": "test-elasticsearch-sink+0+0", "_score": 1, "_source": { "f1": "value1" } }

感谢， 拉杰什

Answer 1

这是目前不可能，但我们正在沿着特征线，使吊装记录元数据像timestamp思考，topic,partition,offset。

Answer 2

使用Single Message Transforms确实可以添加新的字段，包括偏移量和时间戳等值。看看org.apache.kafka.connect.transforms.InsertField。