阅读大型CSV文件

Question

我想在Python中阅读一个大的csv文件;它有700个属性和101533行。我试着阅读使用pandas.read_csv命令的文件，但它给了内存问题，那么我想这个解决方案

import numpy as np 
with file("data.csv", "rb") as f: 
    title = f.readline() # if your data have a title line. 
    data = np.loadtxt(f, delimiter=",") # if your data splitted by "," 
    print np.sum(data, axis=0) # sum along 0 axis to get the sum of every column 

，但它并不适用于大规模数据集的工作，但工作正常，小的数据集。我如何在python中读取这个文件？

Answer 1

您可以使用csv模块加载您csv文件，并使用itertools.izip()功能，以获得再列的发电机由next()拿到第一列。

请注意，csv.reader()返回一个阅读器对象，它是一个类似于对象的迭代器（一次迭代），这意味着它不会浪费你的内存并且会按需生成行。 ：

import csv 
from itertools import izip 
with open("data.csv", "rb") as f: 
    reader = csv.reader(f) 
    print sum(next(izip(*reader)))