熊猫数据框组中的快速迭代更改

Question

我有一个大型熊猫数据框，由用户，每个用户购买的产品和产品价格组成。

我使用的代码如下所示。

import pandas as pd 
import numpy as np 
import matplotlib.pyplot as plt 
import random 

# Create Dataframe randomly 
product_list = ['P1', 'P2', 'P3', 'P4', 'P5', 'P6', 'P7', 'P8', 'P9', 'P10', 'P11', 'P12'] 
user_list = ['U1', 'U2', 'U3', 'U4', 'U5', 'U6', 'U7', 'U8', 'U9', 'U10'] 
price_list = [50, 90, 100] 

# Create random transactions 
transactions = pd.DataFrame(np.random.choice(user_list, 200)) 
transactions['item'] = pd.DataFrame(np.random.choice(product_list, 200)) 
transactions['quantity'] = 1 
transactions['price'] = np.random.choice([50, 90, 100], 200) 
transactions.columns = ['user', 'item', 'quantity', 'price'] 
transactions['suggested_price'] = 0 

# Create groups to apply suggested discount 
grouped = transactions.groupby(["user", "item"]) 

# Apply suggested discount 
for key, group in grouped: 
    transactions.set_value(
     group.index, 'suggested_discount', np.random.random()) 

这段代码的最大问题是最后一块代码的性能，它将建议的折扣应用于每个用户（客户）。原始数据帧有超过600万行。

此外，有一两件事我注意到的是最慢的一步是，当我改变群体的价值，即行：

transactions.set_value(
      group.index, 'suggested_discount', np.random.random()) 

在原来的代码有这行代码之前其他步骤。

我没想到改变组列的值会很慢。有更好，更快的实施吗？

谢谢！

Answer 1

比方说，而不是np.random.random()你有一个函数，它从价格参数和建议价格列，你应该尝试要么使用apply或transform或agg那些列。标量操作而不是循环会更快。

例如，首先设置user和item字段为指标，则可以直接从分组数据中设置的值，以该新的数据帧：

tr=transactions.set_index(["user","item"]) 
tr["suggested discount"]=transactions.groupby(["user", "item"])[["price","suggested_price"]].apply(pd.Series.sum) 

总之，密钥不使用for循环。