FluentD Aggregator - 何时使用？

Question

我们正在考虑使用FluentD将代理& dhcp服务器的Blue Coat日志事件发送到弹性服务器。其中一个关键要求是尽快标出异常值&异常。

对于这样的要求，使用FluentD Aggregator从多个（可能是数百个）FluentD收集器代理接收事件是否合理？ 或者，让FluentD代理将事件发送到写入Elastic的Kafka集群会更好吗？

如果我能得到关于何时使用FluentD Aggregator的一些指导方针，这将非常有用。

感谢， Sharod

Answer 1

一般来说，有2个常见的情况。

1 - 当你需要使用几个插件过滤器 2 - 节流吞吐量目标服务/ DB /等..

插件过滤器消耗了大量的性能。这意味着它可能会影响生成日志的服务器。 因此，在服务器上流利应该做一个最低限度的工作，将日志传输到聚合器或Kafka或其他东西。

附加使用案例，如果您需要有时重写配置，您不需要重新启动服务器上的所有fluentd（如果在聚合服务器中使用过滤器）。

2 - 通常，外部服务/数据库具有很多限制来更新/插入数据到其存储。如果很多流利的人试图频繁地写数据，他们会很容易地显示任何异常。 为了避免这种情况，应该使用聚合器。