随机访问多个文件和文件缓存

Question

这涉及到我已经给“修复”的一些软件。最简单和最快的解决方案将使其打开并从数百个随机文件中读取数十个文件，并提取一些非常短的字符串进行处理并立即关闭它们。另一个过程可能会在此之后出现，并对不同的或相同的随机文件执行相同的操作，这可能会在几秒钟内发生数百次。

我知道现代操作系统将这些文件保存在内存中，因此磁盘颠簸不像过去那样是个问题，但我正在寻找任何关于如何确定何时打开/关闭的文章或讨论许多随机文件成为一个问题。

Answer 1

当您的工作集（所有进程读取的数据量）超过可用RAM时，吞吐量将趋向于基础磁盘的I/O容量。

从您对工作负载的描述来看，寻找时间将比数据传输速率更成为问题。

当您的工作集大小保持在您拥有的RAM数量以下时，操作系统将保留所有数据缓存，并且在缓存填充后不需要转到磁盘。