登录到Amazon S3

Question

是否有人构建过或者没有人知道如何构建将日志文件存放在Amazon S3上的日志记录框架？

我们正在构建一个SaaS应用程序，当然，我们计划拥有数十亿台服务器和客户。我想简化整个日志结构。目前我们使用SLF4j进行日志记录，Logback作为实际的日志记录实现。

我在想，我们可以放弃另一个实现，它会在内存中堆积日志消息，压缩它们，然后将它们上传到S3。如果S3连接处于关闭或缓慢状态，则实施会将文件在磁盘上排队。有点像Facebook的抄写员。

我的猜测是，我需要四五天的时间来编写和测试它。如果还有其他的实现，我很想知道它。

Answer 1

有一个fluentd的插件，用于将文件存储到s3。 （Fluentd是一个很好的“日志文件收集器”）

了解更多关于在这里：​​ http://docs.fluentd.org/articles/apache-to-s3

如果S3连接被中断或减缓fluentd file buffer将缓冲输出 你。

Answer 2

我在谷歌搜索同一个问题。但显然我略胜一筹。 我知道如何登录到S3。没有开箱即用的解决方案。

我建议像保险丝S3安装到您的系统日志：https://github.com/s3fs-fuse/s3fs-fuse

现在，所有你需要的是也将其安装在您的日志分析器系统，它可以是任何现成的，货架系统，可以从目录中读取日志。

这就是我想出来的。

我在执行之前仍然在寻找的是S3的这种日志记录的性能问题，因为AWS有它自己的问题。讨论了设置块/文件大小以提高性能并降低读写成本。希望它有助于另一个迷失的灵魂。