熊猫数据框筛选

Question

比方说，我有一个DataFrame有四列，每列都有一个阈值，我想比较DataFrame的值。

我只是喜欢DataFrame的最小值或阈值。

例如：

df = pd.DataFrame(np.random.randn(100,4), columns=list('ABCD')) 

>>> df.head() 
      A   B   C   D 
0 -2.060410 -1.390896 -0.595792 -0.374427 
1 0.660580 0.726795 -1.326431 -1.488186 
2 -0.955792 -1.852701 -0.895178 -1.353669 
3 -1.002576 -0.321210 1.711597 -0.063274 
4 1.217197 0.202063 -1.407561 0.940371 

thresholds = pd.Series({'A': 1, 'B': 1.1, 'C': 1.2, 'D': 1.3}) 

此解决方案（A4和C3过滤），但必须有一个更简单的方法：

df_filtered = df.lt(thresholds).multiply(df) + df.gt(thresholds).multiply(thresholds) 

>>> df_filtered.head() 
      A   B   C   D 
0 -2.060410 -1.390896 -0.595792 -0.374427 
1 0.660580 0.726795 -1.326431 -1.488186 
2 -0.955792 -1.852701 -0.895178 -1.353669 
3 -1.002576 -0.321210 1.200000 -0.063274 
4 1.000000 0.202063 -1.407561 0.940371 

理想情况下，我想使用的.loc过滤到位，但我还没有设法弄清楚。我使用熊猫0.14.1（不能升级）。

响应下面是我对替代初步建议的定时测试：

%%timeit 
df.lt(thresholds).multiply(df) + df.gt(thresholds).multiply(thresholds) 
1000 loops, best of 3: 990 µs per loop 

%%timeit 
np.minimum(df, thresholds) # <--- Simple, fast, and returns DataFrame! 
10000 loops, best of 3: 110 µs per loop 

%%timeit 
df[df < thresholds].fillna(thresholds, inplace=True) 
1000 loops, best of 3: 1.36 ms per loop 

Answer 1

这是相当快的（和返回数据帧）：

np.minimum(df, [1.0,1.1,1.2,1.3]) 

令人惊喜的是numpy的是如此适合这个没有任何整形或显式转换...

Answer 2

如何：

df[df < thresholds].fillna(thresholds, inplace=True)