我想了解如何最好地利用numpy数组的C顺序来编写高性能代码。我的期望是,遍历行的操作应该比遍历列的操作更快。事实上,这是真的,因为我尝试的第一个例子:dtype如何影响Numpy中的行和列操作速度?
X = np.ones((10000,10000),dtype='int64')
print(X.dtype)
print(X.flags)
%timeit np.sum(X,axis=0)
%timeit np.sum(X,axis=1)
这将产生输出:
int64
C_CONTIGUOUS : True
F_CONTIGUOUS : False
OWNDATA : True
WRITEABLE : True
ALIGNED : True
UPDATEIFCOPY : False
10 loops, best of 3: 79.6 ms per loop
10 loops, best of 3: 61.1 ms per loop
这是我所期待的,因为沿行总结应该比沿着列求和更快。
这里是我非常困惑的地方。如果我改变了D型到float64,则列操作变得几乎快两倍行操作:
X = np.ones((10000,10000),dtype='float')
print(X.dtype)
print(X.flags)
%timeit np.sum(X,axis=0)
%timeit np.sum(X,axis=1)
生成输出:
float64
C_CONTIGUOUS : True
F_CONTIGUOUS : False
OWNDATA : True
WRITEABLE : True
ALIGNED : True
UPDATEIFCOPY : False
10 loops, best of 3: 67.7 ms per loop
10 loops, best of 3: 123 ms per loop
是否有人可以解释,为什么发生这种情况?
编辑:在评论中建议我再试一次较小的矩阵(1000,1000)。当我运行:
import time
import numpy as np
X = np.ones((1000,1000),dtype='float')
print(X.dtype)
print(X.flags)
%timeit np.sum(X,axis=0)
%timeit np.sum(X,axis=1)
X = np.ones((1000,1000),dtype='int64')
print(X.dtype)
print(X.flags)
%timeit np.sum(X,axis=0)
%timeit np.sum(X,axis=1)
我得到的输出:
float64
C_CONTIGUOUS : True
F_CONTIGUOUS : False
OWNDATA : True
WRITEABLE : True
ALIGNED : True
UPDATEIFCOPY : False
1000 loops, best of 3: 598 µs per loop
1000 loops, best of 3: 1.06 ms per loop
int64
C_CONTIGUOUS : True
F_CONTIGUOUS : False
OWNDATA : True
WRITEABLE : True
ALIGNED : True
UPDATEIFCOPY : False
1000 loops, best of 3: 788 µs per loop
1000 loops, best of 3: 632 µs per loop
所以效果持久。
你有什么'numpy'和'python'版本? –
@DanielF Python 3.6,Numpy 1.11.3。 – jmracek
尝试减小'X'的大小(即'(1000,1000)'),并查看在某个时间点的时间差是否从〜200%跳到〜110%。你可能会缓存。 –