可以通过logstash读取最大文件大小2.4.0

Question

我正在尝试读取文件并通过logstash解析并将输出写入另一个文件;

input_file -> logstash -> output_file 

我的解析器效果很好，我测试了一个大约1000行txt文件的示例文件。

问题是，一旦我用200MB到1GB的真实文件开始真正的测试，没有任何反应。我没有输出，既没有输出，也没有一个txt文件。

我怀疑的最后一件事是输入文件的文件大小！

你可以给我一些关于可能性的想法吗？或者我怎样才能改变我的输入文件的最大文件大小？ PS：我在Windows上做我的测试。

编辑：它适用于Logstash 5.5.1！但是V2.4.0有什么问题呢？

Thansk很多

Answer 1

Logstash是拖尾的工具，它通过保持最后读指针的执行syncdb的文件工作基本。所以它不是为了解析大文件而设计的。

我可以给一些指针调试，但不知道这些将工作 - 尝试使用-v（详细）选项来检查调试日志，如果有任何错误消息。 Logstash就像JVM一样尝试增加内存大小并检查它的工作原理。

最后，我会说，如果后者版本正在工作，然后使用它，很多错误在升级中得到修复。 希望它有帮助！