python解析大日志以提取某些模式

Question

我有大系统日志（最大1GB），我需要解析它以提取某些东西。

最初我写的Python代码逐行读取文件中的行（开放使用）花了非常非常长的时间

我了解MMAP和使用mmap它采取大约5分钟。

（我已预编译的正则表达式来节省时间）

有没有更好的方法，以便它需要较少的时间？ （我正在使用python 2.7.3 32位）

Answer 1

您可能想使用awk来处理那种事情，它或多或少是它设计的。