要处理大量的AppEngine日志文件

Question

我跑我在谷歌App Engine应用程序.....我的日志文件是巨大的，由于交通繁忙 日志文件看起来像这样

122.167.221.243 - - [06/Mar/2012:01:11:29 -0800] "GET /Bengali/enable HTTP/1.1" 404 0 "http://www.epicsearch.in/" - 
---Similar rows ---- below 

我想处理它们以获得有意义的统计信息，例如no。的唯一IP地址或不。点击一个给定的网页.... 我是一个初学者，所以不知道如何去了解它!!!!!

Answer 1

假设你没有这样做的话，你会想要做的第一件事就是download your App Engine logs使用appcfg.py工具，例如：

appcfg.py --num_days=5 request_logs appname/ logs.txt 

在您下载它，你将不得不拼凑一个脚本或程序解析你的日志为什么信息你认为有用。

This堆栈溢出问题可能是一个很好的开始 - 真正的任何体面的脚本语言应该能够充分地解析这些日志给你。