用流利的解析数据

我已经熟练地运行elasticsearch并且我使用rsyslog（基本上是转发所有日志）从几台Unix机器转发日志。用流利的解析数据

它工作的很好，除非我没有任何数据控制。我想要的是能够标记某些值。现在，一切都在@消息。假设我有来自apache的日志来到fluentd。我想使用Kibana来查看流量（每ip，每种类型的文件，响应等）。

我不知道这是否可以直接在Kibana中完成，或者它必须在fluentd中解析。我应该怎么做？我已经看到了不同日志设置的例子，但是当涉及到Web服务器时，它们都会记录日志文件。我不能那样做，因为它是一个远程服务器。

另外，我有不同的服务，我想从（sql，web，mail ...）获取重要的统计信息。

注意：我使用rsyslog转发日志。

来源

2013-11-22 xBlue

我是Fluentd的维护人员之一。

您是否认为您可以共享您的Fluentd配置文件以及日志中的示例行？

另外，我有不同的服务，我想从（sql，web，mail ...）获取重要的统计信息。

对于SQL，有https://github.com/frsyuki/fluent-plugin-sql
对于网页，你可以使用特定的语言记录器之一（教程下看待http://docs.fluentd.org）
如需邮寄，我不知道一个插件处理这个呢。我鼓励你问我们的邮件列表。

来源

2013-11-22 20:18:20

我有fluentd附带的默认配置。我启用了系统日志（我认为它是默认评论），然后在我的apache服务器上，我直接从rsyslog转发了日志。他们很好。我可以在Kibana/Elasticsearch中看到它们。我想要的是解析类似这样的信息：http://www.elasticsearch.org/content/uploads/2013/09/Screen-Shot-2013-09-18-at-3.17.47-PM.png 现在我有时间戳，主机，身份证和消息。我想有clientIP，响应，请求，代理...类似于上面的截图。我不确定是否需要额外的插件或什么... – xBlue

对不起，我迟到了。如果你可以更新Fluentd（我相信v0.10.50），in_syslog可以支持'格式为'的任意文本。 –

对于邮件，在该区域有alreay工作。 https://gist.github.com/mikeda/d9f800c1a5aa73e125cb/raw/0a87cbbf4b49218fb7f97b3b9dc8cabfadbf9df6/in_maillog_tail.rb

来源

2013-12-16 18:14:13 BrixSat

用流利的解析数据

回答

相关问题