我可以将矢量化函数应用于熊猫数据框吗？

Question

我是pandas和numpy的新手，我试图找出做某些事情的最佳方法。

现在我正试图调用dataframe的每一行上的函数。如果我将三个numpy阵列传递给此函数，它非常快，但在dataframe上使用apply的速度非常慢。

我的猜测是numpy在第一种情况下使用矢量化函数，而不是在第二种情况下。有没有办法让pandas使用该优化？基本上，在伪代码，我认为apply正在做类似for row in frame: func(row['a'], row['b'], row['c'])，但我希望它做func(col['a'], col['b'], col['c'])。

这是我正在尝试做的一个例子。

import numpy as np 
import pandas as pd 
from scipy.stats import beta 

count = 100000 

# If I start with a given dataframe and use apply, it's very slow 

df = pd.DataFrame(np.random.uniform(0, 1, size=(count, 3)), columns=['a', 'b', 'c']) 
df.apply(lambda frame: beta.cdf(frame['a'], frame['b'], frame['c']), axis=1) 

# However, if I split out each column into a numpy array, this is very fast. 

a = df['a'].as_matrix() 
b = df['b'].as_matrix() 
c = df['c'].as_matrix() 

beta.cdf(a, b, c) 

# But at this point I've lost the context of the dataframe. 
# I would like to keep the results in a new column for further processing 

Answer 1

目前尚不清楚您为什么试图使用apply。你可以做beta.cdf(df.a, df.b, df.c)。