2
我目前正在尝试从网站中抓取数据并从中建立一个大型数据集（并且可能随时间而增长）。我想知道在处理，保存和加载大型数据集时是否有任何好的做法。用于处理机器学习的大型数据集的设计模式
更具体地说，当我想要保存的数据集太大而不能存储在RAM中时，应该怎么做，然后一次写入磁盘;并且一次写入一个数据点效率太低？有没有比编写一次适度大小的批处理更聪明的方法？
谢谢你的时间！
A
回答
2
当然，使用数据库。
您应该看看MongoDB或elasticSearch，因为您存储的内容似乎是文档而不是关系数据。
相关问题
- 1. 机器学习数据预处理
- 2. 用于学习字符串模式的机器学习技术
- 3. 将R中的机器学习包应用于大型数据集
- 4. 如何转换图像数据集处理机器学习
- 5. 大型机器学习
- 6. python中的机器学习外部数据集学习
- 7. 如何分辨机器学习模型的学习型
- 8. 如何处理用于机器学习分类问题的小型和非平衡数据集
- 9. 医疗机器学习数据集
- 10. 机器学习 - 与大数据集的问题
- 11. 如何处理机器学习算法中的定性数据
- 12. Web数据上的大型机器学习
- 13. 关于金融大数据的机器学习
- 14. 2PB数据的建筑机器学习模型
- 15. R机器学习包来处理大量的因素
- 16. 机器学习形状和类型的机器学习
- 17. 机器学习 - 巨大只有正面文本数据集
- 18. 线性回归机器学习训练模型与庞大的数据
- 19. 如何设计机器学习功能
- 20. 受过训练的机器学习模型太大
- 21. 机器学习每批处理新数据
- 22. 机器学习如何处理多维数据？
- 23. 关于机器学习，统计学习算法
- 24. AWS机器学习Retrain模型
- 25. 详细学习C++设计模式
- 26. 视频学习的数据库设计
- 27. 关于学习软件开发和设计模式的建议
- 28. 用于机器学习的Python导入
- 29. 用于机器学习的外部GPU
- 30. 适用于Android的机器学习库
不要重新发明轮子，只需使用任何标准数据库 - MySQL的，Postgress，甲骨文，W/E。让数据库引擎担心[输入]效率。 – DyZ