3
我一直致力于一个集群系统多年，并决定现在是我们有一个工具，让我们轻松地查询纯文本日志文件（除其他事项外）。我将所有的日志文件下载到了一台旧的测试机器上，在那里他们需要大约20GB的压缩，但是需要550GB的未压缩（部分原因是由于很多堆栈跟踪）。我们有不同的“主题”，由不同的人维护，我们的日志格式多年来发生了变化。但是让我们假设我可以以某种方式将它变成所有主题的单一一致格式。是否有一个开源工具可以在日志文件中自动查找模式？
我的问题是：是否有一些免费/开源工具，我可以放松这些文件，它会自动识别类似的日志消息。作为一个例子消息：
User John Smith has logged in from IP aaa.bbb.ccc.ddd. Duration: zzz ms.
鉴于这样的消息的许多情况下，该工具会制定出像模式：
User * has logged in from IP *. Duration: * ms.
其中*是不同的数据的占位符。一旦我们有了这些模式（需要定期更新），我们可以将每条新消息与模式进行匹配，并建立有用的统计数据。
理想情况下，当我们使用这些工具时，该工具将是Java，Python或Perl，而且我们处于混合的Windows/Linux环境中。
你看着[LOGPARSER（http://en.wikipedia.org/wiki/Logparser） - 不是开源的，但是是免费的，非常好。 – adrianbanks 2011-05-12 20:36:59
谢谢。我看不到它，因为主要网站似乎目前不可用，但拥有类似产品的名称往往有助于找到替代品。 :) – 2011-05-13 10:48:00
您可以从[Microsoft]直接下载（http://www.microsoft.com/downloads/en/details.aspx?familyid=890cd06b-abf8-4c25-91b2-f8d975cf8c07&displaylang=en）。 – adrianbanks 2011-05-13 10:51:46