2014-01-07 32 views
3

据我所知,Splunk不需要MySQL数据库将提供的许多功能,并且对大数据进行索引和执行搜索时,使用关系数据库可能不是一个好选择。Splunk数据库

Splunk是否使用Lucene作为搜索引擎,或者让他们制作了他们的磁盘数据格式?

对不起,如果我问这个问题的方式有任何问题。这是我在Stack Overflow上的第一个问题。

回答

0

的Splunk具有专有数据格式的索引。 Lucene使用而不是,而Splunk拥有自己的搜索语言SPL。

+0

我认为与其他人相比,Splunk会是更好的选择 – Tbalz

1

Splunk使用自己的搜索引擎,它不基于任何第三方。

其搜索引擎仅基于文件,没有数据库。 它不存储字段,但仅存储原始数据。这些字段在搜索期间被提取,并且由于这些非常动态。 在数据中查找关键字(干草堆里的针)也非常快。

  1. 将数据分解为基于时间的事件,为每个原始事件添加时间。
  2. 标记在整个索引
  3. 存储的事件以压缩格式(tar.gz的)

更详细的事件及其位置找到的每个字,Splunk的被存储以下面的方式数据:

  1. 关键字的事件里面非常快速的搜索
  2. 看在原始数据
  3. 创建原始数据的新领域d通过统计命令使用它们。

来源: http://www.splunk.com/web_assets/pdfs/secure/Splunk_for_BigData.pdf http://docs.splunk.com/Documentation/Splunk/6.5.1/Indexer/Howindexingworks

3年以上经验 Splunk的建筑师。