在Logstash中使用外部查找

Question

我目前正在处理两个logstash项目，一个监视IIS日志，另一个监视IIS防火墙。

现在IIS日志来自高使用率的服务器，每月产生大约25GB的日志，并且有几个这样的日志。这里的问题是，我们不希望启用反向查找，而不是在服务器上或Logstash中，而是从外部服务启用反向查找，因为我们可以在logstash中的DNS查找功能之外进行缓存。

我们想要解决的另一个问题是防火墙项目与查找标准和非标准端口有关。我们的防火墙只是生成我们想要翻译的dest端口号，使我们的Kibana仪表板更具可读性。防火墙有大约10Gb/s的流量，并产生大量的系统日志流量。

我们目前在logstash服务器上运行8-16名工人。有没有一种简单（？）的方式来从logstash进行API调用，甚至是值得考虑基于性能？

我正在讨论的另一个选择是“脱机”批处理，即直接向elasticsearch运行批处理作业，但这最有可能意味着我应该在FrontEnd之前有一个单独的elasticsearch或redis实例。

然而，最好的选择最可能的是在Kibana界面中作为脚本字段进行翻译，但至于我的理解，这对我的用户工作不起作用？

Answer 1

dns {}过滤器使用本地计算机的分辨率，因此您无法将其与非DNS缓存集成，而无需创建新过滤器或放置到ruby {}。

根据您拥有的值的数量，您可以将它们发布到一个文件并使用translate {}，但我只会建议对于类似于专用网络查找的内容。

如果您的DNS数据在elasticsearch中，您可以在您的过滤期间查询它，并以这种方式向您的活动添加字段。

对于您的防火墙端口问题，您没有给出原始值和期望值的示例，但再次查看翻译{}或放到ruby {}。