Logstash Elasticsearch输入流式数据插件

我想知道我们是否可以使用logstash-input-elasticsearch插件来处理流式数据，例如：如果我的数据库中有数据可用，并运行ElasticSearch输入插件，它将索引数据输入到输出中，但是如果一段时间后ElasticSearch数据库的数据更多，则ElasticSearch输入插件是否能够在不重新启动logstash的情况下为这些数据建立索引？Logstash Elasticsearch输入流式数据插件

谢谢你的关注和你的帮助。

来源

2016-08-23 Yassir S

默认情况下，elasticsearch输入将在您的ES实例上运行滚动查询，抽取与查询匹配的文档，将它们流式传输到输出，并在完成后Logstash关闭。

但是，您可以设置一个cron作业，以定期启动Logstash管道并查询ES中存在的新文档。

来源

2016-08-23 10:23:41 Val

再次感谢Val！我正在开发你推荐我的东西。但是，如何指示logstash从上一次运行中处理的最后一个文档开始，而不是滚动我的所有elasticsearch数据库？ –

您需要有某种类型的字段，例如日期，您可以在查询中进行检查。每次需要查询所有日期大于上次运行管道的文档时。 – Val

Logstash Elasticsearch输入流式数据插件

回答

相关问题