2011-03-19 91 views
0

我必须从enterprice networks中捕获索引日志记录。在当前的实现中,每个协议都有索引文件作为year/mont/day/lucene文件,我想知道如果我只使用一个lucene索引文件并且我每天更新这个单个文件这个效果如何搜索时间?这是一个很大的提高,在目前的情况下,当我搜索我当天正在查询的时候。 电流:SMTP /年/月/ AY/luceneindexlucene文件索引

,如果我做的SMTP/luceneindex单一file.Let所有IDEX我知道prons和缺点

+0

为什么使用Lucene而不是像Sawmill或AWStats这样的日志解析应用程序? – allnightgrocery 2011-03-19 20:56:04

回答

1

这取决于整个一系列因素。

当你说一个lucene文件? Lucene使用多种类型的文件存储一个索引,并且有段,因此无论如何都有多个文件。

什么是你如何索引日志数据?

你用什么来查询lucene索引,solr,elasticsearch,custom?

您是否运行单个实例,单机配置。

你可以运行多个进程,在不同的主机上,使用一些用于搜索任务和其他用于索引更新?

什么是您典型的搜索查询,例如,针对这些情况进行优化。

查看分布式搜索选项http://elasticsearch.org/http://lucene.apache.org/solr/

lucene有选项可以在内存中运行,如RAMDirectory,您可能会喜欢调查。

单日文件的大小会对管理造成问题吗? 文件大小是否会相对于磁盘变得如此之大,复制,移动带宽限制会带来问题。