2015-10-20 52 views
0


首先原谅我,如果我听起来总新手因为我没有这个服务的所有者(还)
没有数据解析+例外

我们使用ELK( Elasticsearch(1.4.2)/ Logstash/Kibana - 我们使用一个分片,所以没有副本)来解析我们的日志并基于Kibana中的一些过滤器显示图表。

在过去的两周内,我们看到由于某种原因,没有新的数据显示在图表上,除了日常关机之外,服务器上没有任何更改。

elasticsearch指数是每天创建的。
日志的输入是通过redis进行的,实际上我看到redis中的活动和新日志一直在进来。

在logstash.log我看到以下异常:

[2015-10-20 04:39:49,462][DEBUG][action.search.type  ] [shard1] [logstash-2015.10.15][2], node[G5aAjTSEQCiX5JXlmSx8ng], [P], s[STARTED]: Failed to execute [[email protected]] lastShard [true] 
org.elasticsearch.search.SearchParseException: [logstash-2015.10.15][2]: from[-1],size[-1]: Parse Failure [Failed to parse source [{"facets":{"terms":{"terms_stats":{"value_field":"acked_contacts_","key_field":"customer_name","size":10,"order":"count"},"facet_filter":{"fquery":{"query":{"filtered":{"query":{"bool":{"should":[{"query_string":{"query":"(action:BULK_RECEIVER) AND (result:SUCCESS or result:FAILURE OR result:Success OR result:Failed)"}}]}},"filter":{"bool":{"must":[{"range":{"@timestamp":{"from":1444711190919,"to":1445315990919}}}]}}}}}}}},"size":0}]] 
     at org.elasticsearch.search.SearchService.parseSource(SearchService.java:681) 
     at org.elasticsearch.search.SearchService.createContext(SearchService.java:537) 
     at org.elasticsearch.search.SearchService.createAndPutContext(SearchService.java:509) 
     at org.elasticsearch.search.SearchService.executeQueryPhase(SearchService.java:264) 
     at org.elasticsearch.search.action.SearchServiceTransportAction$5.call(SearchServiceTransportAction.java:231) 
     at org.elasticsearch.search.action.SearchServiceTransportAction$5.call(SearchServiceTransportAction.java:228) 
     at org.elasticsearch.search.action.SearchServiceTransportAction$23.run(SearchServiceTransportAction.java:559) 
     at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) 
     at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 
     at java.lang.Thread.run(Thread.java:745) 
Caused by: org.elasticsearch.search.facet.FacetPhaseExecutionException: Facet [terms]: failed to find mapping for acked_contacts_ 

正如我所说,我不是真的在这里的专家,但我比较的指数从10月1日的映射,以及今天的指数,并且它们有不同的映射。
难道这是关系到停工的一个?我不知道为什么它已经改变了(没有人做任何服务器上的工作)

假设这就是问题所在,我有办法:

  1. 恢复旧的映射,所以未来的索引将创建一个正确的?
  2. 更改现有索引的映射(关闭不是问题),使数据再次可搜索?

我,如果我提供了所有必需的信息不知道,让我知道如果有更多需要提前
感谢,

MENY

+0

索引是在午夜创建的吗? (当第二天的索引应该创建) –

+0

这是可能的,我怎么能确认?索引名称是它代表的数据的日期 –

回答

0

您正在运行针对查询不包含您引用的字段的索引。

您可以在elasticsearch中搜索ignore the unmapped fields,或者在您的kibana查询中使用存在

+0

我意识到缺少的映射,我想了解的是为什么它已经失踪。它存在之前,我不想忽略它 –

+0

如果你有一个索引,那么你有一个映射。可能此字段不再被添加到新记录中,因此它不会出现在新的(每日)映射中。是由grok {}创建的字段?那个grok失败了吗?它是由一些外部过程添加失败吗?等等 –