numpy可以处理多少数据

Question

我现在正在尝试使用PyTables和NumPy.Can请告诉我有多少数据可以numpy处理。我现在正在处理1.4亿行数据，并且想知道numpy可以处理它。如果它至少能够处理1.4列的2列（我现在使用具有8 GB RAM的64位窗口），那将会很好。如果numpy不能处理统计和机器学习算法的可能替代方案实现。

Answer 1

140M比2 ** 31小得多，所以如果内存充足，它甚至可以放入32位的Python/Numpy。你可以很容易地尝试了这一点与

>>> import numpy as np 
>>> X = np.empty((140e6, 2)) 

存储器使用与标准dtype=np.float64是8个字节的顺序×140M×2 = 2GB上。如果您使用dtype=np.float32，则可以节省2倍。