Python Pandas to_csv是否有最大行数？

我正在尝试将文本文件导出到csv中。该文件非常大（160万行）制表符分隔文件。当我使用to_csv导出文件时，它仅导出1048576行。有多少行to_csv会导出？Python Pandas to_csv是否有最大行数？

，我应该以不同的方式导出数据？我真的很想能够把它变成一个csv。

这里是我的代码的例子。

import pandas as pd 
import numpy as np 
import os 

from pandas import Series, DataFrame 

pathDataEDM = "C:/Users/FILE.txt" 

dataEDM = pd.read_csv(pathDataEDM, sep="\t") 

dataEDM.to_csv(os.path.join(ExportDir),index=False)

来源

2017-04-24 brandog

您是否验证过数据是_read_正确？例如。 'dataEDM.info（）'报告正确的行数？ – alexis

像alexis一样，我会检查导出停止位置附近的格式/解析错误。例如，如果您开始将48576行导出到文本文件中，您会获得1048576个导出的行，还是1000000？ – cphlewis

我不认为有一个最大值（因为它没有记录，最多160万是相当低的）。

你可以试着指定以下可选参数（见docs）：

CHUNKSIZE：int或无 行同时

压缩写：串，可选 表示压缩在输出文件中使用的字符串，允许值为‘gzip’, ‘bz2’, ‘xz’，仅在第一个参数为文件名时使用

来源

2017-04-24 23:05:06 matusko

Python Pandas to_csv是否有最大行数？

回答

相关问题