匹配的唯一的一组领域的最新文件聚集

Question

假设之前，我有以下的文档结构：

> db.logs.find() 
{ 
'id': ObjectId("50ad8d451d41c8fc58000003") 
'name': 'Sample Log 1', 
'uploaded_at: ISODate("2013-03-14T01:00:00+01:00"), 
'case_id: '50ad8d451d41c8fc58000099', 
'tag_doc': { 
    'group_x: ['TAG-1','TAG-2'], 
    'group_y': ['XYZ'] 
} 
}, 
{ 
'id': ObjectId("50ad8d451d41c8fc58000004") 
'name': 'Sample Log 2', 
'uploaded_at: ISODate("2013-03-15T01:00:00+01:00"), 
'case_id: '50ad8d451d41c8fc58000099' 
'tag_doc': { 
    'group_x: ['TAG-1'], 
    'group_y': ['XYZ'] 
} 
} 

> db.cases.findOne() 
{ 
'id': ObjectId("50ad8d451d41c8fc58000099") 
'name': 'Sample Case 1' 
} 

是否有在聚合框架进行$match的方式，将只检索所有最新的Logcase_id和group_x的每个唯一组合？我确信这可以通过多个$group管道来完成，但我希望尽可能地通过$match运营商立即限制将通过管道的文档数量。我正在考虑像$max运营商，但在$match中使用它。

任何帮助，非常感谢。

编辑：

到目前为止，我能想出以下：

db.logs.aggregate(
    {$match: {...}}, // some match filters here 
    {$project: {tag:'$tag_doc.group_x', case:'$case_id', latest:{uploaded_at:1}}}, 
    {$unwind: '$tag'}, 
    {$group: {_id:{tag:'$tag', case:'$case'}, latest: {$max:'$latest'}}}, 
    {$group: {_id:'$_id.tag', total:{$sum:1}}} 
) 

正如我所说，我希望可以与多个$group管道来完成，但是这被证明是代价高昂处理大量文件时。这就是为什么我想尽早限制文件的原因。

编辑：

我还没有想出了一个很好的解决方案，如果该文档结构本身对我的使用情况没有优化，所以我想。我是否必须更新字段以支持我想实现的目标？非常感谢的建议。

编辑：

我其实寻找一个类似于预计How can I SELECT rows with MAX(Column value), DISTINCT by another column in SQL? MongoDB中实现不同的是它涉及到两个不同的字段值。此外，$match操作至关重要，因为它使结果集动态变化，过滤器的范围可以匹配标签或日期范围内。

编辑：

由于我的用例的复杂性我试图用一个简单的比喻，但这被证明是令人困惑的。以上是现在用例的简化形式。对不起，我创建了混乱。

Answer 1

我做了类似的事情。但是匹配是不可能的，但仅限于一组管道。诀窍是一定要使用多键与正确的排序：

{ user_id: 1, address: "xyz", date_sent: ISODate("2013-03-14T01:00:00+01:00"), message: "test" }, { user_id: 1, address: "xyz2", date_sent: ISODate("2013-03-14T01:00:00+01:00"), message: "test" } 

如果我wan't到组上USER_ID &地址和我wan't，我们都需要创建这样一个关键的最后日期的消息：

{ user_id:1, address:1, date_sent:-1 } 

然后你就可以在没有排序的情况下执行聚合，这个速度要快得多，并且可以在带副本的分片上工作。如果你没有正确的排序顺序的键，你可以添加一个排序管道，但是你不能在分片中使用它，因为所有传递给mongos和分组的操作都会完成它们（也会导致内存限制问题）

db.user_messages.aggregate(
{ $match: { user_id:1 } }, 
{ $group: { 
    _id: "$address", 
    count: { $sum : 1 }, 
    date_sent: { $max : "$date_sent" }, 
    message: { $first : "$message" }, 
} } 
); 

没有记录它应该像这样工作 - 但它的确如此。我们在生产系统上使用它。

Answer 2

嗯，没有好的方法来做到这一点，你只需要挑出每个作者的最新作品，而不是你需要挑选出所有文档，排序，然后在作者上进行分组：

db.posts.aggregate([ 
    {$sort: {created_at:-1}}, 
    {$group: {_id: '$author_id', tags: {$first: '$tag_doc.tags'}}}, 
    {$unwind: '$tags'}, 
    {$group: {_id: {author: '$_id', tag: '$tags'}}} 
]); 

正如你所说，这不是最佳的，但这是我所想到的。

如果我说实话，如果你需要执行这个查询往往它实际上可能是更好的预聚合已经包含您的形式需要的信息的另一集合：

{ 
    _id: {}, 
    author: {}, 
    tag: 'something', 
    created_at: ISODate(), 
    post_id: {} 
} 

而每一次你创建一个新的帖子，你找出这个unqiue集合中的所有文档，这些文档全部填写你需要的内容的$in查询，然后更新/插入created_at和post_id到那个集合。这会更加优化。

Answer 3

我会使用另一个集合来随时创建搜索结果 - 在发布新帖子时 - 每次发布新博客帖子时都会在此新集合中插入文档。

作者/标签的每个新组合都作为新文档添加到此集合中，而具有现有组合的新帖子仅使用新博客帖子的内容（或对象ID引用）更新现有文档。

例子：

db.searchResult.update(  
... {'author_id':'50ad8d451d41c8fc58000099', 'tag_doc.tags': ["TAG-1", "TAG-2" ]}, 
... { $set: { 'Referenceid':ObjectId("5152bc79e8bf3bc79a5a1dd8")}}, // or embed your blog post here 
... {upsert:true} 
) 

Answer 4

在这里你去：

db.logs.aggregate(
    {"$sort"  : { "uploaded_at" : -1 } }, 
    {"$match" : { ... } }, 
    {"$unwind" : "$tag_doc.group_x" }, 
    {"$group" : { "_id" : { "case" :'$case_id', tag:'$tag_doc.group_x'}, 
        "latest" : { "$first" : "$uploaded_at"}, 
        "Name" : { "$first" : "$Name" }, 
        "tag_doc" : { "$first" : "$tag_doc"} 
       } 
    } 
); 

你要避免$最大的时候可以排序美元，并采取$第一，特别是如果你有UPLOADED_AT这将允许指数您可以避免任何内存分类，并显着降低流水线处理成本。显然，如果您有其他“数据”字段，您可以将它们与（或代替）“名称”和“tag_doc”一起添加。