Elasticsearch中multiSearch的最佳批量查询大小

Question

我试图用multisearch查询elasticsearch，但似乎并没有改善很多。

对于约70K查询，时间由不同bulk_sizes的有：

对于单个搜索为每个项目花费时间= 2611s

对于multisearch（bulksize = 1000）时间拍下= 2400s

对于multis采取的操作搜索（bulksize = 10）时间= 2326s

所以，我需要知道

一）这是做MultiSearch正确的方法是什么？

b）什么是多搜索的最佳批量大小？

Here'e我的代码：

search_arr = [] 

     for k in range(i,i+BULK_SIZE): 
      search_arr.append({'index':'test'}) 
      search_arr.append({"query": {"match": {"title": title[k]}}, "size": 5}) 
     request ='' 
     for each in search_arr: 
      request += '%s \n' %json.dumps(each) 

     resp = es.msearch(body=request) 

Answer 1

并发搜索的数量由搜索线程池的限制。

https://www.elastic.co/guide/en/elasticsearch/reference/current/modules-threadpool.html

对于计数/搜索操作。 线程池类型是固定的，其尺寸为int（（available_processors的＃* 3）/ 2）+ 1，1000

的queue_size这意味着如果你有单个处理器，那么你将有2次并发的搜索，其余的请求将进入队列，并在线程再次可用时处理。