从Kibana仪表板消除重复项

Question

我有一个ELK仪表板，它使用来自kafka的数据。 输入的JSON数据中有4列。例如，列是col1，col2，col3，col4。

每天都有100条记录用于弹性搜索。

假设我想消除基于特定列的重复项说col1，有没有办法在基巴纳仪表板上做。

Answer 1

您不能使用Kibana删除文档。

为此，您必须通过删除API。

为此，您必须检索要删除的文档的id，然后使用api。

或者使用的插件删除，通过查询在同一时间做两件事：https://www.elastic.co/guide/en/elasticsearch/plugins/current/plugins-delete-by-query.html

您可以使用此查询与实地COL1重复检索文件：

{ 
    "size": 0, 
    "aggs": { 
    "duplicateCount": { 
     "terms": { 
     "field": "col1", 
     "min_doc_count": 2 
     }, 
     "aggs": { 
     "duplicateDocuments": { 
      "top_hits": {} 
     } 
     } 
    } 
    } 
} 

来源：https://qbox.io/blog/minimizing-document-duplication-in-elasticsearch