处理大量数据

Question

因此，我正在处理参数能量模拟，并最终以500GB的数据存储在.CSV文件中。我需要能够处理所有这些数据以比较结果并获得不同参数影响的见解。

每个csv文件名都包含用于模拟的参数信息，因此我无法合并这些文件。

我通常使用pandas将.csv文件加载到python并定义一个Class。但现在（所有这些数据）都没有足够的内存来做到这一点。

你能指出我处理这些数据的方法吗？我需要能够做图并比较csv文件。

谢谢你的时间。

Answer 1

Convert csv文件到hdf5，它是为了处理大量和复杂的数据集而创建的。它适用于pandas以及otherlibraries。