我正在研究D3可视化,幸运的是已经取得了一些进展。但是,我遇到了一个问题......说实话,我不确定它是一个MongoDB问题还是一个D3问题。你看,我试图从一组传感器点(我的JSON对象包含时间戳,光线,温度,湿度和运动检测级别或每个数据点)制作一系列图形。但是,我的传感器每8秒将数据上传到我的MongoDB数据库。所以,如果我查询MongoDB数据库只有一天的数据......我得到了10,800个数据点。更糟糕的是,如果我要求提供一个月的数据,我会被324,000个数据点淹没。我的问题是,当处理超过1000个点时,我的d3可视化变慢了(我正在用四个不同的图形来显示数据,每个图形都使用一个画笔来选择图形上的某个域。限制我试图查看的数据量?使用MongoDB可以更好地完成这项工作吗(所以基本上过滤我查询的数据,并且只根据我试图查询的时间值的大小来获取每个第n个数据点) 。还是有更好的方法?一旦我检索了整个数据集,我应该尝试使用D3过滤数据吗?减少需要处理的点数的最佳方法是什么?提前致谢。用MongoDB和D3减少大数据集
0
A
回答
0
MongoDB是在过滤伟大如果你真的只需要该数据的一个子集,指定在find
查询 - 这会限制时间的子集,或者如果你是聪明只得到数据每小时或类似的第一分钟。
或者,你可以从字面上减少数据出来使用aggregation framework的MongoDB的量。这可以用来得到部分的总和或平均值或相似。
相关问题
- 1. Spark数据集使用空值减少?
- 2. Mongodb地图减少2个集合
- 3. mongoDB map/reduce减去减少
- 4. 大数据集中断d3 sankey图
- 5. thread_cache_size减少CPU和最大连接数?
- 6. 减少数据库调用
- 7. 扩展Greenplum群集(段大小减少)
- 8. 集大小甚至不减少它
- 9. MongoDB:映射没有减少?
- 10. MongoDB中的MapReduce - 减少BSONElement
- 11. mongodb的地图减少value.count
- 12. 减少数据集的尺寸和实现
- 13. SQL减去大型数据集
- 14. 使用存储库模式时的MongoDB和大型数据集
- 15. MongoDB扩展和内存使用量非常大的数据集
- 16. 如何在删除大量数据后减少MongoDB存储空间
- 17. 使用MongoDB的映射减少
- 18. “大”数据集有多少个?
- 19. 0,1背包减少子集总和
- 20. 减少往返数据库
- 21. 减少数据库的Rails
- 22. 减少数据库连接
- 23. 减少境界数据库航运的大小与应用
- 24. 减少用JSON存储的数据的大小
- 25. 访问MongoDB中的地图另一个集合减少
- 26. 集团通过减少现场取决于变量MongoDB中
- 27. Postgres:减少varchar大小和截断
- 28. 重新使用D3大的CSV数据集nvd3
- 29. MongoDB - 小型/多个或少数/大型节点群集
- 30. Clojure:减少,减少和无限列表