将大数据文件导入熊猫

Question

我有一个1.5 GB的.dat文件，需要导入为熊猫数据框，我遇到了内存问题（8GB RAM）。如何将dat文件分解成块以执行分析？

Answer 1

pd.read_csv('file.csv', chunksize = x) 

返回迭代给予从file.csvx线一次。