弹性搜索 - 最大碎片大小

Question

在学习ElasticSearch期间，我碰到并无法得出最终结论。

• ElasticSearch的最大分片大小是多少？
• 索引有多少个碎片？有没有最大限制？

Answer 1

阅读多篇文章和博客并运行自己的负载测试后，我得出的结论是 数量的分块和每个碎片的最大尺寸取决于许多因素，如：

1. 的大小插入的数据
2. 插入数据的速率
3. 数据检索/搜索是否同时发生？如果是，搜索频率是多少？同时进行多少次搜索？
4. 服务器配置的详细信息，如内存大小等，在CPU内核，硬盘大小的数量，

因此，找出每个碎片的部署优化的大小和碎片的数量经过优化，一个好办法是使用参数&负载的各种组合运行测试并得出结论。

Answer 2

• 简单：不跨越40个亿文件
• 想想32个堆大小的系统的限制（仍适用于64位系统）。 ES甚至在64位系统中推荐使用高达32 GB的半内存，因为它涉及内存管理限制和优化。如果你有超过64 GB的内存，你可以为Lucene保留更多的内存？

了解更多详情：https://www.elastic.co/guide/en/elasticsearch/guide/current/heap-sizing.html和https://qbox.io/blog/optimizing-elasticsearch-how-many-shards-per-index。

Answer 3

正如其他人所说的那样，理论最大值非常大，然而取决于您的系统，可能存在实际限制。

我发现碎片开始变得性能低于150GB。我有50GB的碎片，表现相当不错。在这两种情况下，碎片是节点上唯一的碎片，并且该节点具有54GB的系统内存，其中31GB专用于elasticsearch。在50GB的时间里，我从100ms左右的相对较重的查询中获得了结果，而在150GB时，它花费了500ms或更长的时间。

我确定这取决于我使用的映射，以及其他一些因素，但是如果您正在轮询数据点，可能会很有用。