插入大事件Elasticsearch失败

Question

当我插入大型活动到Elasticsearch，我收到一个错误：

java.lang.IllegalArgumentException: Document contains at least one immense term in field="_all" (whose UTF8 encoding is longer than the max length 32766), all of which were skipped. Please correct the analyzer to not produce such terms. The prefix of the first immense term is: '[<skipped>]...', original message: bytes can be at most 32766 in length; got 53021 

使用关键字分析仪，因为我不想给ES领域分割成单独记号所以这是我的索引定义：

{ 
     "index" : { 
      "analysis" : { 
       "analyzer" : { 
        "default" : { 
         "type" : "keyword" 
        } 
       } 
      } 
     } 
    } 

我怎样才能使ES接受我的大事件，但仍然有关键字分析仪为默认？

Answer 1

所有字段值默认添加到_all字段中，并且由于该字段也使用关键字分析器，所以该字段将包含一个大小为50kB的令牌，这有点超过了限制。该限制似乎不可配置。

一种解决方案是指定一个不同的分析仪该字段：

curl -XPUT ${ES_HOST}:${ES_PORT}/${ES_INDEX}/${ES_TYPE}/_mapping -d " 
    { 
     "${ES_TYPE}": { 
      "_all\: { "analyzer": "standard" } 
     } 
    }"