在此体系结构中是否需要Logstsh托运人实例和redis？

Question

我创建了一个使用Logstash，redis，弹性搜索和kibana的演示环境。 （http://indico.cern.ch/getFile .....

这里logstash托运人从我所使用syslog-ng的。Loogstash托运人集中的日志文件中读取日志被转发它的Redis然后Logstash索引器（过滤器），最后到Elasticsearch。

现在我想跳过logstash托运人和redis的一部分，这是一个好主意吗？或者redis是强制性的或者需要处理重负载，我不知道这件事

在上面的pdf链接我有读Logstash的缓冲区很小，redis管理着为什么使用redis的日志流，因为redis会将数据保存在内存中，如果内存变满了呢？还有，Logstash和Elasticsearch可能会非常饿y在RAM使用方面。 JVM选项需要适当调整。如果是的话，如何调优JVM？

是否需要清除/旋转elasticsearch数据/索引？

那么哪一个最适合重载？我想解析诸如[系统（操作系统和守护进程）日志，系统日志，Web服务器日志（apache，lighttpd），应用程序服务器日志（tomcat），数据库服务器日志（mysql）和一些应用程序日志（通过日志文件）]等日志。

请提出您的改进建议。谢谢 ！！！。

请点击以下链接查找图片。

（http://a.disquscdn.com/uploads/mediaembed/images/709/3604/original.jpg）

Answer 1

在设置你的Redis描述不应要求，使用syslog-ng的集中日志文件有异曲同工之妙的Redis的当使用多个托运人。
可能需要修剪elasticsearch索引以减少磁盘空间要求。这将取决于您的弹性搜索数据的增长速度，您有多少可用磁盘空间以及您需要多长时间才能搜索日志。

我无法就JVM调优提供建议。