2015-02-10 36 views
4

我收集了大约2200万个文档,每个文档都很小。这个集合每天增长数千条记录,所以according to this documentation我们的查询计划一直无效并且没有问题地重建。 一周前,我为这个集合添加了一个新的索引(在后台),并对它进行了一些查询。大约一天后,我们遇到了停机时间,并将其追溯到突然进行全面扫描的常规查询(可能每秒都会针对此收集运行)。我捕获了一些表明这一点的分析数据。 为了解决这个问题,我重新启动了mongo,并且在它再次发生之前大概再过一天。在预感上,我删除了我创建的新索引,从那以后我们还没有看到这个问题。 在什么情况下,mongo突然开始忽略索引?可能会出现这样的情况,即提供索引提示可以解决此问题,但这会让我觉得我写的所有mongo查询都适用于任何集合,因此应提供索引提示。这真的有必要吗?Mongo突然忽略大集合中的索引

编辑:我可以提供有问题的查询:
Following.find({user: userDoc._id, followedUser: {$exists: true}}) 和所捕获的轮廓数据:

{ 
    "op" : "query", 
    "ns" : "figure1.following", 
    "query" : { 
     "$query" : { 
      "followedUser" : { 
       "$exists" : true 
      }, 
      "user" : ObjectId("54243fce5fce0dcc0d2e23b3") 
     }, 
     "orderby" : { 
      "created" : -1 
     } 
    }, 
    "ntoreturn" : 0, 
    "ntoskip" : 0, 
    "nscanned" : 22542697, 
    "nscannedObjects" : 22542697, 
    "keyUpdates" : 0, 
    "numYield" : 8645, 
    "lockStats" : { 
     "timeLockedMicros" : { 
      "r" : NumberLong(720504269), 
      "w" : NumberLong(0) 
     }, 
     "timeAcquiringMicros" : { 
      "r" : NumberLong(26364170), 
      "w" : NumberLong(2108) 
     } 
    }, 
    "nreturned" : 2, 
    "responseLength" : 82, 
    "millis" : 390517, 
    "execStats" : { 
     "type" : "PROJECTION", 
     "works" : 22542699, 
     "yields" : 178440, 
     "unyields" : 178440, 
     "invalidates" : 0, 
     "advanced" : 2, 
     "needTime" : 0, 
     "needFetch" : 0, 
     "isEOF" : 1, 
     "children" : [ 
      { 
       "type" : "FETCH", 
       "works" : 22542699, 
       "yields" : 178440, 
       "unyields" : 178440, 
       "invalidates" : 0, 
       "advanced" : 2, 
       "needTime" : 22542696, 
       "needFetch" : 0, 
       "isEOF" : 1, 
       "alreadyHasObj" : 0, 
       "forcedFetches" : 0, 
       "matchTested" : 2, 
       "children" : [ 
        { 
         "type" : "IXSCAN", 
         "works" : 22542698, 
         "yields" : 178440, 
         "unyields" : 178440, 
         "invalidates" : 0, 
         "advanced" : 22542697, 
         "needTime" : 1, 
         "needFetch" : 0, 
         "isEOF" : 1, 
         "keyPattern" : "{ created: 1.0 }", 
         "isMultiKey" : 0, 
         "boundsVerbose" : "field #0['created']: [MaxKey, MinKey]", 
         "yieldMovedCursor" : 0, 
         "dupsTested" : 0, 
         "dupsDropped" : 0, 
         "seenInvalidated" : 0, 
         "matchTested" : 0, 
         "keysExamined" : 22542697, 
         "children" : [ ] 
        } 
       ] 
      } 
     ] 
    }, 
    "ts" : ISODate("2015-02-06T21:09:43.550Z"), 
    "client" : "10.165.78.55", 
    "allUsers" : [ ], 
    "user" : "" 
} 

两个followedUseruser单独索引,一起,并与created字段。我在created字段中添加索引(您可以在配置文件数据中将其看作排序字段)中看到一天后开始问题。我意识到$存在不会使用索引,这是我可以改变的,但我担心的是mongo似乎选择了一个非常糟糕的查询计划。

附加说明:问题首先发生在mongo 2.6.4,我可以看到有一个问题,看起来非常相似(JIRA-14961)。但是在我杀死了mongo并重新启动之后,它运行了2.6.6,并且问题再次出现了,所以我不认为这是14961版本中的问题。

+3

无法访问您的数据和索引,我可以给出的最佳建议是在您的查询中调用'explain()'并在此处发布结果。 – SolarBear 2015-02-10 19:02:14

+1

查询计划程序选择了不同的索引并为查询形状缓存该查询计划。但是,没有看到他们的查询和“解释(真实)”输出,关于为什么没有更多可以说的东西。 – wdberkeley 2015-02-10 19:21:53

+1

添加了一些信息,希望有助于。 – thejav 2015-02-10 19:45:41

回答