5.x的Elasticsearch索引大小比1.x大40％

Question

我有一个运行Elasticsearch的旧集群1.4.4。 我的群集包含约110亿份文档，所有初选的大小约为4TB。

我现在正在升级到Elasticsearch 5.2.2，这当然意味着重新索引我的数据。我目前正在发生一个单独的群集。我从我的源数据库重新索引，因为我在原始索引上禁用了_all和_source。

我现在重新索引了大约7.5亿个文档，并注意到我的新索引大小已经为350GB。我做了一些数学计算，看起来索引将在完全索引时增长到大约5.5TB。那是1.5TB以上比1.4.4指数。我并不期待这一点。相反，我期望减小尺寸，因为我删除了几个属性。这是正常的事情还是我做错了什么？ 5.2.2中有不同的默认设置可以促进这种增长吗？

1.4.4索引设置：

{ 
    "index": { 
    "refresh_interval": "30s", 
    "number_of_shards": "20", 
    "creation_date": "1426251049131", 
    "analysis": { 
     "analyzer": { 
     "default": { 
      "filter": [ 
      "icu_folding", 
      "icu_normalizer" 
      ], 
      "type": "custom", 
      "tokenizer": "icu_tokenizer" 
     } 
     } 
    }, 
    "uuid": "WdgnCLyITgmpb4DROegV3Q", 
    "version": { 
     "created": "1040499" 
    }, 
    "number_of_replicas": "1" 
    } 
} 

1.4.4索引映射：

{ 
    "article": { 
    "_source": { 
     "enabled": false 
    }, 
    "_all": { 
     "enabled": false 
    }, 
    "properties": { 
     "date": { 
     "format": "dateOptionalTime", 
     "type": "date", 
     "doc_values": true 
     }, 
     "has_enclosures": { 
     "type": "boolean" 
     }, 
     "feed_subscribers": { 
     "type": "integer", 
     "doc_values": true 
     }, 
     "feed_language": { 
     "index": "not_analyzed", 
     "type": "string" 
     }, 
     "author": { 
     "norms": { 
      "enabled": false 
     }, 
     "analyzer": "keyword", 
     "type": "string" 
     }, 
     "has_pictures": { 
     "type": "boolean" 
     }, 
     "title": { 
     "norms": { 
      "enabled": false 
     }, 
     "type": "string" 
     }, 
     "content": { 
     "norms": { 
      "enabled": false 
     }, 
     "type": "string" 
     }, 
     "has_video": { 
     "type": "boolean" 
     }, 
     "url": { 
     "index": "not_analyzed", 
     "type": "string" 
     }, 
     "feed_canonical": { 
     "type": "boolean" 
     }, 
     "feed_id": { 
     "type": "integer", 
     "doc_values": true 
     } 
    } 
    } 
} 

5.2.2索引设置：

{ 
    "articles": { 
    "settings": { 
     "index": { 
     "refresh_interval": "-1", 
     "number_of_shards": "40", 
     "provided_name": "articles", 
     "creation_date": "1489604158595", 
     "analysis": { 
      "analyzer": { 
      "default": { 
       "filter": [ 
       "icu_folding", 
       "icu_normalizer" 
       ], 
       "type": "custom", 
       "tokenizer": "icu_tokenizer" 
      } 
      } 
     }, 
     "number_of_replicas": "0", 
     "uuid": "LOeOcZb_TMCX6E_86uMyXQ", 
     "version": { 
      "created": "5020299" 
     } 
     } 
    } 
    } 
} 

5.2.2指数映射：

{ 
    "articles": { 
    "mappings": { 
     "article": { 
     "_all": { 
      "enabled": false 
     }, 
     "_source": { 
      "enabled": false 
     }, 
     "properties": { 
      "author": { 
      "type": "text", 
      "norms": false, 
      "analyzer": "keyword" 
      }, 
      "content": { 
      "type": "text", 
      "norms": false 
      }, 
      "date": { 
      "type": "date" 
      }, 
      "feed_canonical": { 
      "type": "boolean" 
      }, 
      "feed_id": { 
      "type": "integer" 
      }, 
      "feed_subscribers": { 
      "type": "integer" 
      }, 
      "title": { 
      "type": "text", 
      "norms": false 
      }, 
      "url": { 
      "type": "keyword" 
      } 
     } 
     } 
    } 
    } 
} 

任何帮助将非常感激，因为这一组充满重建索引需要大约30天...谢谢！

Answer 1

我看你已经修改刷新时间间隔，并把副本的数量为0，如果使用旋转磁盘，您可以添加到elasticsearch.yml增加索引速度：

index.merge.scheduler.max_thread_count: 1 

如果你不不关心搜索，你的ES5集群上的以下内容也可以帮助：

PUT /_cluster/settings 
{ 
    "transient" : { 
     "indices.store.throttle.type" : "none" 
    } 
} 

确保你有交换禁用。在ES5集群中为您的节点分配了多少内存？ （由于Elasticsearch的内存寻址限制，您应该使用节点总可用内存的一半，最大值为32 GB）。

此外，这种规模的增加可能是因为Elasticsearch经常不合并其片段，并且会等待平静期来合并它们，从而减少磁盘上的大小。只要重新索引尚未结束，对新索引的总体规模进行判断还有点早。

低于几篇文章可以帮助：

• https://www.elastic.co/guide/en/elasticsearch/reference/5.x/tune-for-indexing-speed.html
• https://www.elastic.co/blog/a-heap-of-trouble

Answer 2

我的猜测是doc_values。 由于弹性2.0，默认情况下启用了doc_values，这意味着您的5.2映射为比1.4映射更多的字段创建doc_values，并且会消耗磁盘空间。