聚合来自mongodb,map reduce或任何其他方式的数据

Aggregation the data from mongodb, map reduce or any other ways?

本文关键字:任何 其他 方式 数据 reduce map mongodb      更新时间:2023-09-26

好吧,我正在努力解决聚合问题。我认为解决问题的最简单方法是使用mapreduce或进行单独的查找查询,然后使用异步库帮助进行循环。

架构如下所示:

db.keyword
keyword: String
start: Date
source: String(Only one of these (‘google’,’yahoo’,’bing’,’duckduckgo’) )
job: ref db.job
results: [
    {
            title: String
            url: String
            position: Number
    }
]

db.job
name: String
keywords: [ String ]
urls: [ String ]
sources: [ String(‘google’,’yahoo’,’bing’,’duckduckgo’) ]

现在我需要将数据转换为以下形式:

data = {
    categories: [ 'keyword1', 'keyword2', 'keyword3' ],
    series: [
        {
            name: 'google',
            data: [33, 43, 22]
        },
        {
            name: 'yahoo',
            data: [12, 5, 3]
        }
    ]
}

最大的问题是 series[0].data 数组是由非常困难的查找组成的,将 db.job.urls 与 db.keyword.results.url 匹配,然后得到位置。有没有办法简化query_?我已经浏览了许多地图减少示例,但我找不到要映射哪些数据和要减少哪些数据的正确方法。

看起来您正在尝试合并来自两个单独集合(关键字和作业)的数据。

Map Reduce以及新的聚合框架一次只能对一个集合进行操作。

最好的办法可能是单独查询每个集合,并以编程方式组合结果,以最适合应用程序的形式保存它们。

如果您想尝试使用 Map Reduce,下面是一个博客文章的链接,该博客文章由使用增量 Map Reduce 操作合并两个集合中的值的用户撰写。
http://tebros.com/2011/07/using-mongodb-mapreduce-to-join-2-collections/

有关将Map Reduce与MongoDB一起使用的更多信息,请参阅Mongo文档:http://www.mongodb.org/display/DOCS/MapReduce(有关增量地图缩减的部分在这里:http://www.mongodb.org/display/DOCS/MapReduce#MapReduce-IncrementalMapreduce)

MongoDB Cookbook 中还有一些额外的 Map Reduce 示例:http://cookbook.mongodb.org/

有关如何运行Map Reduce操作的分步演练,请参阅MongoDB食谱"使用版本化文档查找最大值和最小值"的"附加"部分 http://cookbook.mongodb.org/patterns/finding_max_and_min/

希望以上内容能为您提供一些有关如何实现所需结果的想法。 正如我所提到的,我认为最直接的解决方案就是以编程方式组合结果。 但是,如果您成功编写了执行此操作的 Map Reduce 操作,请发布您的解决方案,以便社区可以从您的体验中受益。