logstash-configuration

6热度

2回答

我将一组数据解析到ELK堆栈中供一些非技术人员查看。作为其中的一部分，我希望在发送到ElasticSearch之前从事件中除去特定已知字段子字段的所有字段。我可以明确指定每个字段在发生变异过滤下降，像这样： filter { mutate { remove_field => [ "throw_away_field1", "throw_away_field2" ]

2热度

1回答

如何使用Kafka将logstash保留更长时间？

目前我使用redis - > s3 - >弹性搜索 - > kibana栈来管道和可视化我的日志。但由于弹性搜索中的大量数据，我可以将日志保留至7天。我想在此堆栈中放入kafka集群并保留更多日子的日志。我正在考虑下面的堆栈。应用节点管道日志卡夫卡 - >卡夫卡集群 - >弹性搜索群集 - > kibana 如何使用卡夫卡保留日志以了解更多的天数？

0热度

1回答

多行中Logstash，每行

我有一个多写入日志文件中的如下时间戳： INFO | jvm 1 | main | 2014/11/06 13:41:30.112 | ERROR [appHTTP50] [appEmployeeAuthenticationProvider] Can't login with username 'username' INFO | jvm 1 | main | 2014/11/06 13:41:3

3热度

1回答

Logstash没有读入MySQL的新条目

我在我的Windows 7机器上本地安装了Logstash和Elasticsearch。我在Logstash中安装logstash-input-jdbc。我有MySql数据库中的数据，我使用Logstash发送给Elasticsearch，因此我可以做一些报告生成。执行此操作的Logstash配置文件。 input { jdbc { jdbc_driver_library =>

1热度

1回答

Logstash块内的条件或变量

在某些logstash配置中，我希望有条件地设置配置块中一个字段的值，而不必重复整个块。因此，举例来说，我有两个http输出具有非常相似的设置： output { if "foo" in [tags] { http { url => "http://example.com/x" http_method => "post" follo

0热度

1回答

Logstash-ES数据检查

我目前使用logstash-jdbc-plugin从数据库中提取数据并将其放入ES中的索引。如何检查从数据库中提取的整个数据是否被插入到弹性搜索索引中。被拉的数据是百万所以不能保持手动检查

0热度

1回答

grokparsefailure与多个如果[类型] - logstash配置

好吧 - 我一直在头顶这个配置文件的日子很少成功（我对logstash/ELK堆栈很新）。我遇到的问题是当我将两个logstash配置放在同一个目录中时，第二个配置中出现grok错误。意思是，001会工作，002会产生错误。如果我只用一个配置运行logstash（无论哪一个都没关系），那么一切都运行良好。合并时，其他人工作失败。我已经将两个conf文件组合成一个单独的conf文件，但同样的问题依然

1热度

1回答

创建Logstash配置

每天一个新的指数Elasticsearch我打算有一个ELK堆栈设置，其中每天JSON的投入获取存储在日志文件中创建一个每个日期。我的logstash将通过这些日志监听输入，并将其存储到Elasticsearch的对应于日志文件输入日期的索引中。我logstash-output.conf云一样的东西： output { elasticsearch { host => loca

0热度

1回答

神交重新时间戳和消息

我试图创建以下格式神交模式： October 27, 2015 03:44: lorem created a new project "lorem/ipsum" October 27, 2015 03:48: lorem created a new project "lorem/ipsum-cp" October 27, 2015 18:38: john created a new proje

-4热度

1回答

Python：How to convert .7z to .rar or .zip？

如何使用Python将.7z文件转换为.rar或.zip文件？