我必须从enterprice networks中捕获索引日志记录。在当前的实现中,每个协议都有索引文件作为year/mont/day/lucene文件,我想知道如果我只使用一个lucene索引文件并且我每天更新这个单个文件这个效果如何搜索时间?这是一个很大的提高,在目前的情况下,当我搜索我当天正在查询的时候。 电流:SMTP /年/月/ AY/luceneindexlucene文件索引
,如果我做的SMTP/luceneindex单一file.Let所有IDEX我知道prons和缺点
我必须从enterprice networks中捕获索引日志记录。在当前的实现中,每个协议都有索引文件作为year/mont/day/lucene文件,我想知道如果我只使用一个lucene索引文件并且我每天更新这个单个文件这个效果如何搜索时间?这是一个很大的提高,在目前的情况下,当我搜索我当天正在查询的时候。 电流:SMTP /年/月/ AY/luceneindexlucene文件索引
,如果我做的SMTP/luceneindex单一file.Let所有IDEX我知道prons和缺点
这取决于整个一系列因素。
当你说一个lucene文件? Lucene使用多种类型的文件存储一个索引,并且有段,因此无论如何都有多个文件。
什么是你如何索引日志数据?
你用什么来查询lucene索引,solr,elasticsearch,custom?
您是否运行单个实例,单机配置。
你可以运行多个进程,在不同的主机上,使用一些用于搜索任务和其他用于索引更新?
什么是您典型的搜索查询,例如,针对这些情况进行优化。
查看分布式搜索选项http://elasticsearch.org/或http://lucene.apache.org/solr/。
lucene有选项可以在内存中运行,如RAMDirectory,您可能会喜欢调查。
单日文件的大小会对管理造成问题吗? 文件大小是否会相对于磁盘变得如此之大,复制,移动带宽限制会带来问题。
为什么使用Lucene而不是像Sawmill或AWStats这样的日志解析应用程序? – allnightgrocery 2011-03-19 20:56:04