需要存储大量数据的好方法

Question

我以每16.66ms 4096字节的速率生成数据。这些数据需要不断存储并随机读取。将它放在关系数据库中会很好，但我认为做这么多插入操作会为我正在使用的处理器（ARM11）创造太多开销。我不需要SQLite提供的所有功能。

事实上，只是将这些东西写入文件似乎很诱人，因为虽然大多数时候我会写很多数据，但当我确实需要读取数据时，我可以寻求我需要的块。不过，我只知道我会遇到一些问题。特别是当我离开这个东西运行一天并以千兆字节数据结束时。

这似乎是一个非常天真的解决方案，我的问题，我需要别人告诉我，所以我可以开始考虑更好的解决方案。谢谢。

Answer 1

您应该添加更多的细节以获得更好的答案。你有什么用例，你需要ACID，你正在写的是什么存储空间等等。

什么是你的操作系统，你只写了固定大小的记录。只是说像我会做随机访问，这是我的写入速度是太不明确。

你正在写240千字节/秒，这是20 GB /天。

如果您刚刚修复了大小记录，只添加数据并使用Linux，那么纯文件非常棒。也许考虑使用一些fsync调用，如果你的存储速度够快的话。