2015-10-15 129 views
2

我是CentOS的新手,想知道将日志日志解析为CloudWatch日志的最佳方式。将日志转发到CloudWatch日志

我的思维过程至今是:

  • 使用FIFO来分析日志日志和摄取这CloudWatch的日志 - 它看起来像这可能跟抽奖背上其中,如果我们打的日志将被丢弃缓冲限制。

  • 转发日记记录到系统日志和系统日志发送到CloudWatch的日志 -

的想法基本上是拥有一切记录到journald为JSON,然后提出这个跨越到CloudWatch的日志。

这样做的最好方法是什么?其他人如何解决这个问题?

回答

5

看看Matin Atkins的https://github.com/saymedia/journald-cloudwatch-logs

此开放源代码项目创建了一个完全按照您的需要执行的二进制操作 - 将您的(systemd)日记日志发送到AWS CloudWatch日志。

该项目依赖于libsystemd直接转发到CloudWatch。它不依赖于转发到系统日志。这是一件好事。

该项目似乎使用golang的并发通道读取日志和批处理写入。

+0

为什么downvote? –

+0

非常好,这正是我一直在寻找的! – huhwhatwhere

4

看看https://github.com/advantageous/systemd-cloud-watch

我们与journald-CloudWatch的-日志问题。它根本不适合我们。

它不会限制向CloudWatch发送的消息或commandLine的大小,CloudWatch会发回journald-cloudwatch-logs无法处理的错误,从而导致它不同步。

systemd-cloud-watch是无状态的,它要求CloudWatch停止。

systemd-cloud-watch如果缺失也会创建日志组。

systemd-cloud-watch也使用名称标签和私有IP地址,以便您可以轻松找到您正在查找的日志。

我们还包含一个打包程序文件,向您展示如何使用EC2/Centos/Systemd构建和配置systemd-cloud-watch图像。没有关于如何配置systemd的问题,因为我们有一个工作示例。

+0

嗨瑞克,感谢您对此的头衔,看起来完全像我们想要的。我真的很陌生,所以想知道我是如何安装的? 我已经按照这里的步骤 - http://www.mammatustech。com/cloud-news/setupup-aws-log-agent-journald-dcos-logs-to-amazon-cloudwatch-log-service 但是当我到“Install agent software”时,我下载了github代表,但是步骤从那里开始比赛。看起来curl命令下载了一个二进制文件,但不完全确定如何处理它。 谢谢 – huhwhatwhere