如何使用Pandas获取csv文件的最后一个块？

Question

假设我有一个包含5行的csv文件。

现在我使用的2

data = pd.read_csv(data_name, header=None, iterator=True, chunksize=2) 

假设我这样做对这个数据块的一些魔术和追加到另一个csv文件一CHUNKSIZE遍历这个文件。

processed_data.to_csv(fname, index=None, mode="a") 

问题：最后一行不写入。

我不知道如何解决这个问题。有人可以帮忙吗？

我需要使用块，因为我没有足够的RAM。

我不能使用chunksize=1，因为打开/关闭文件太耗时。

Answer 1

如果您的内存不足，我会使用这种类型的数据。 https://blaze.readthedocs.io/en/latest/ooc.html

然后，你不必乱七八糟的大块。