syslog数据对机器学习有价值吗？

Question

有没有人有系统日志数据和机器学习或深度学习的经验？ syslog数据是否足够用于机器学习算法并获得见解？如果是这样，可以获得什么见解？目前是否有可用的工具来理解大量的系统日志数据？

Answer 1

Splunk可以做到这一点相对容易，但数据清理部分可能需要相当长的一段时间。您需要将Splunk与此结合起来，因为您正在谈论操作智能机器学习，这是数据和系统的空白。

要回答你的问题，是的。我使用syslog数据来跟踪异常故障，并利用机器学习来预测（和减少）由于票据输入造成的中断次数。换句话说，我们使用机器学习来预测有多少人会在计划（和通信）中断时出现恐慌，因此我们可以准确地制定报告指标。

我可以说这很有价值，但如果您正在讨论预测数据库连接问题算法或应用程序问题，那至多是一个因素。 syslog不够密集，不足以告诉你机器上运行的每个应用程序中发生了什么（除非将发送到/ var/log'syslog'的任何日志分类），执行机器学习算法时需要考虑应用程序日志，因为该应用程序没有更好的活动来源。诀窍是确定该应用程序或服务的依赖关系。

Splunk是一款出色的工具，与其他人相比，使用它非常容易理解数据。我用它来连续查找所有系统日志文件，并且在数据处理后非常容易。