很多数据记录，数据库或文件的体系结构？

Question

我正在研究一个Python应用程序，我希望可以进行扩展以容纳每秒大约150次写入。这分散在大约50个不同的来源。

Mongodb是一个很好的候选人吗？我分裂写入数据库，或者只是为每个源创建一个日志文件并分别解析它们。

有关记录大量数据的其他建议吗？

Answer 1

我要说的是，MongoDB的非常般配的日志收集，因为：

1. MongoDB中有着惊人的快速写入
2. 日志不是那么重要了，所以没关系要宽松一些他们的服务器故障的情况。因此，您可以运行mongodb 而不使用journaling选项以避免写入开销。
3. 另外您可以使用分片来提高写入速度，同时您可以将最旧的日志移动到单独收集或文件系统中。
4. 你可以容易export数据从数据库到json/csv。
5. 一旦您拥有了数据库中的所有内容，您将能够通过查询数据来查找您需要的日志。

所以，我认为mongodb完全适合日志这样的事情。您不需要在文件系统中管理大量日志文件。 Mongodb为你做这件事。