python中xarray的文件大小是否有限制？

我想用xarray打开一个netCDF4数据集。python中xarray的文件大小是否有限制？

我有两个例子。时间序列超过300万点的大文件（3.2GB）。时间序列中有9999个点的小文件（9.8 MB）。此代码将打开小文件。

ds = xr.open_dataset(smallfile, chunks={'rec': 3600}, decode_times=False)

如果我使用大文件，会出现未知错误。在安装了miniconda的两台不同的Windows机器上，这种行为是一致的。

这是怎么回事？我还应该检查什么？

在此先感谢。

来源

2017-02-16 Marinna Martini

我应该补充一点，MATLAB对大文件没有问题。 –

xarray和netCDF4-Python都没有文件大小限制。它们已成功用于10-100GB范围内的文件。

你的问题类似于那些在这个netCDF4的Python问题报告读取大文件在Windows上使用Python 3：https://github.com/Unidata/netcdf4-python/issues/535

更广泛地说，你可能会遇到limitations of the netCDF file format本身。版本4，xarray通过netCDF4-Python和h5netcdf支持，基于HDF5，没有文件大小限制。 xarray通过netCDF4-Python和scipy支持的版本3，除非使用“64位偏移量”版本（即使对每个变量仍然有4GB限制），它的文件大小限制为2GB。

来源

2017-02-16 19:01:36 shoyer

谢谢您确认尺寸不是问题。 –

python中xarray的文件大小是否有限制？

回答

相关问题